Заміна Pandas або Numpy Nan на None для використання з MysqlDB

Я намагаюся написати кадр даних Pandas (або можна використовувати масив numpy) до бази даних mysql за допомогою MysqlDB. MysqlDB, схоже, не розуміє "nan", і моя база даних видаляє помилку, кажучи, що nan не знаходиться в списку полів. Мені потрібно знайти спосіб перетворити 'nan' в NoneType.

Будь-які ідеї?

@bogatron має право, ви можете скористатися where, варто зазначити, що ви можете це робити в пандах:

df1 = df.where(pd.notnull(df), None)

Примітка: це змінює тип всіх стовпців на object.

Приклад:

In [1]: df = pd.DataFrame([1, np.nan])

In [2]: df
Out[2]: 
    0
0   1
1 NaN

In [3]: df1 = df.where(pd.notnull(df), None)

In [4]: df1
Out[4]: 
      0
0     1
1  None

Примітка: те, що ви не можете зробити переробити DataFrames, dtypeщоб дозволити всі типи даних, використовуючи astype, а потім fillnaметод DataFrame :

df1 = df.astype(object).replace(np.nan, 'None')

На жаль, ні це, ні використання не replaceпрацює з Noneдив. Цю (закриту) проблему .

В сторону варто зазначити, що для більшості випадків використання вам не потрібно замінювати NaN на None, дивіться це питання про різницю між NaN та None у пандах .

Однак у цьому конкретному випадку вам здається, що ви робите (принаймні на час відповіді).

df = df.replace({np.nan: None})

Заслуга цього хлопця в цьому питанні Github .

Ви можете замінити nanз Noneвашої Numpy масиву:

>>> x = np.array([1, np.nan, 3])
>>> y = np.where(np.isnan(x), None, x)
>>> print y
[1.0 None 3.0]
>>> print type(y[1])
<type 'NoneType'>

Після спотикання, це працювало для мене:

df = df.astype(object).where(pd.notnull(df),None)

Просто доповнення до відповіді @Andy Hayden:

Оскільки DataFrame.maskце протилежний близнюк DataFrame.where, вони мають точно такий же підпис, але з протилежним значенням:

• DataFrame.whereкорисно для Замінюючи значення , де умова Хибне .
• DataFrame.mask використовується для заміни значень, де умовою є True .

Тож у цьому питанні використання df.mask(df.isna(), other=None, inplace=True)може бути більш інтуїтивно зрозумілим.

Ще одне доповнення: будьте обережні, замінюючи кратні і перетворюючи тип стовпця назад з об'єкта в плаваючий . Якщо ви хочете бути впевнені, що ваш Noneне повернеться назад np.NaN, застосуйте пропозицію @ andy-hayden із використанням pd.where. Ілюстрація того, як заміна все ще може піти не так:

In [1]: import pandas as pd

In [2]: import numpy as np

In [3]: df = pd.DataFrame({"a": [1, np.NAN, np.inf]})

In [4]: df
Out[4]:
     a
0  1.0
1  NaN
2  inf

In [5]: df.replace({np.NAN: None})
Out[5]:
      a
0     1
1  None
2   inf

In [6]: df.replace({np.NAN: None, np.inf: None})
Out[6]:
     a
0  1.0
1  NaN
2  NaN

In [7]: df.where((pd.notnull(df)), None).replace({np.inf: None})
Out[7]:
     a
0  1.0
1  NaN
2  NaN

Досить старий, але я натрапив на те саме питання. Спробуйте зробити це:

df['col_replaced'] = df['col_with_npnans'].apply(lambda x: None if np.isnan(x) else x)