Як опустити рядки Pandas DataFrame, значення яких у певному стовпці - NaN

Я маю це DataFrameі хочу лише записи, EPSстовпець яких не NaN:

>>> df
                 STK_ID  EPS  cash
STK_ID RPT_Date                   
601166 20111231  601166  NaN   NaN
600036 20111231  600036  NaN    12
600016 20111231  600016  4.3   NaN
601009 20111231  601009  NaN   NaN
601939 20111231  601939  2.5   NaN
000001 20111231  000001  NaN   NaN

... тобто щось на зразок df.drop(....)отримати цей результуючий кадр даних:

                  STK_ID  EPS  cash
STK_ID RPT_Date                   
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

Як це зробити?

Не кидайте, просто візьміть рядки там, де EPS не NA:

df = df[df['EPS'].notna()]

Це питання вже вирішено, але ...

... також розгляньте рішення, запропоноване Вутером у своєму первісному коментарі . Можливість поводження з відсутніми даними, в тому числі dropna(), вбудована в панди явно. Окрім потенційно покращеної продуктивності, ніж робити це вручну, ці функції також мають різноманітні варіанти, які можуть бути корисними.

In [24]: df = pd.DataFrame(np.random.randn(10,3))

In [25]: df.iloc[::2,0] = np.nan; df.iloc[::4,1] = np.nan; df.iloc[::3,2] = np.nan;

In [26]: df
Out[26]:
          0         1         2
0       NaN       NaN       NaN
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [27]: df.dropna()     #drop all rows that have any NaN values
Out[27]:
          0         1         2
1  2.677677 -1.466923 -0.750366
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295

In [28]: df.dropna(how='all')     #drop only if ALL columns are NaN
Out[28]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [29]: df.dropna(thresh=2)   #Drop row if it does not have at least two values that are **not** NaN
Out[29]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

In [30]: df.dropna(subset=[1])   #Drop only if NaN in specific column (as asked in the question)
Out[30]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

Є й інші параметри (Див. Документи на http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.html ), включаючи випадання стовпців замість рядків.

Досить зручно!

Я знаю, що на це вже відповіли, але просто задля чисто пандового вирішення цього конкретного питання, на відміну від загального опису Амана (який був чудовим), і на випадок, якщо хтось інший трапиться з цього приводу:

import pandas as pd
df = df[pd.notnull(df['EPS'])]

Ви можете скористатися цим:

df.dropna(subset=['EPS'], how='all', inplace=True)

Найпростіші з усіх рішень:

filtered_df = df[df['EPS'].notnull()]

Наведене вище рішення є набагато кращим, ніж використання np.isfinite ()

Ви можете використовувати метод dataframe notnull або зворотний isnull або numpy.isnan :

In [332]: df[df.EPS.notnull()]
Out[332]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [334]: df[~df.EPS.isnull()]
Out[334]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [347]: df[~np.isnan(df.EPS)]
Out[347]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN

Простий і легкий спосіб

df.dropna(subset=['EPS'],inplace=True)

джерело: https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.html

ще одне рішення, яке використовує той факт, що np.nan != np.nan:

In [149]: df.query("EPS == EPS")
Out[149]:
                 STK_ID  EPS  cash
STK_ID RPT_Date
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

Інша версія:

df[~df['EPS'].isna()]

У наборах даних, що мають велику кількість стовпців, ще краще бачити, скільки стовпців містять нульові значення, а скільки - ні.

print("No. of columns containing null values")
print(len(df.columns[df.isna().any()]))

print("No. of columns not containing null values")
print(len(df.columns[df.notna().all()]))

print("Total no. of columns in the dataframe")
print(len(df.columns))

Наприклад, у моєму кадрі даних він містив 82 стовпчики, з яких 19 містило принаймні одне нульове значення.

Далі ви також можете автоматично видаляти значки та рядки, залежно від того, у яких є більше нульових значень.
Ось код, який робить це розумно:

df = df.drop(df.columns[df.isna().sum()>len(df.columns)],axis = 1)
df = df.dropna(axis = 0).reset_index(drop=True)

Примітка. Вище наведений код видаляє всі ваші нульові значення. Якщо ви хочете нульових значень, обробіть їх раніше.

Він може бути доданий при тому, що "&" може використовуватися для додавання додаткових умов, наприклад

df = df[(df.EPS > 2.0) & (df.EPS <4.0)]

Зауважте, що при оцінці тверджень панди потребують дужок.

Чомусь жодна з поданих раніше відповідей не працювала на мене. Це основне рішення зробило:

df = df[df.EPS >= 0]

Хоча, звичайно, це також буде випускати рядки з негативними цифрами. Тож якщо ви хочете тих, напевно, розумно додати це і після.

df = df[df.EPS <= 0]

Одним з рішень може бути

df = df[df.isnull().sum(axis=1) <= Cutoff Value]

Інший спосіб може бути

df= df.dropna(thresh=(df.shape[1] - Cutoff_value))

Сподіваюся, вони корисні.