Видалення нанних значень з масиву

Я хочу розібратися, як видалити значення nan зі свого масиву. Мій масив виглядає приблизно так:

x = [1400, 1500, 1600, nan, nan, nan ,1700] #Not in this exact configuration

Як я можу видалити nanзначення з x?

Якщо ви використовуєте numpy для своїх масивів, ви також можете використовувати

x = x[numpy.logical_not(numpy.isnan(x))]

Рівнозначно

x = x[~numpy.isnan(x)]

[Завдяки chbrown за додану стенографію]

Пояснення

Внутрішня функція numpy.isnanповертає булевий / логічний масив, який має значення Trueскрізь, яке xне є a-число. Як ми хочемо навпаки, ми використовуємо логічний оператор, ~щоб отримати масив з Trues всюди, що x є дійсним числом.

Нарешті, ми використовуємо цей логічний масив для індексації у вихідний масив x, щоб отримати лише не-NaN-значення.

filter(lambda v: v==v, x)

працює і для списків, і для масиву numpy, оскільки v! = v лише для NaN

Спробуйте це:

import math
print [value for value in x if not math.isnan(value)]

Докладніше читайте у розділі Зрозуміння списку .

Для мене відповідь @jmetz не спрацювала, однак використання pandas isnull () зробив.

x = x[~pd.isnull(x)]

Виконайте вище:

x = x[~numpy.isnan(x)]

або

x = x[numpy.logical_not(numpy.isnan(x))]

Я виявив, що скидання на одну і ту ж змінну (x) не видаляє фактичні значення nan і довелося використовувати іншу змінну. Встановивши його на іншу змінну, вилучили нан. напр

y = x[~numpy.isnan(x)]

Як показали інші

x[~numpy.isnan(x)]

працює. Але це призведе до помилки, якщо numtype dtype не є нативним типом даних, наприклад, якщо він є об'єктом. У такому випадку ви можете використовувати панди.

x[~pandas.isna(x)] or x[~pandas.isnull(x)]

Загальноприйнятий відповідь змінює форму для 2d масивів. Я представляю тут рішення, використовуючи функцію Pandas dropna () . Він працює для 1D і 2D масивів. У двовимірному випадку ви можете вибрати погоду, щоб випустити рядок або стовпець, що містить np.nan.

import pandas as pd
import numpy as np

def dropna(arr, *args, **kwarg):
    assert isinstance(arr, np.ndarray)
    dropped=pd.DataFrame(arr).dropna(*args, **kwarg).values
    if arr.ndim==1:
        dropped=dropped.flatten()
    return dropped

x = np.array([1400, 1500, 1600, np.nan, np.nan, np.nan ,1700])
y = np.array([[1400, 1500, 1600], [np.nan, 0, np.nan] ,[1700,1800,np.nan]] )


print('='*20+' 1D Case: ' +'='*20+'\nInput:\n',x,sep='')
print('\ndropna:\n',dropna(x),sep='')

print('\n\n'+'='*20+' 2D Case: ' +'='*20+'\nInput:\n',y,sep='')
print('\ndropna (rows):\n',dropna(y),sep='')
print('\ndropna (columns):\n',dropna(y,axis=1),sep='')

print('\n\n'+'='*20+' x[np.logical_not(np.isnan(x))] for 2D: ' +'='*20+'\nInput:\n',y,sep='')
print('\ndropna:\n',x[np.logical_not(np.isnan(x))],sep='')

Результат:

==================== 1D Case: ====================
Input:
[1400. 1500. 1600.   nan   nan   nan 1700.]

dropna:
[1400. 1500. 1600. 1700.]


==================== 2D Case: ====================
Input:
[[1400. 1500. 1600.]
 [  nan    0.   nan]
 [1700. 1800.   nan]]

dropna (rows):
[[1400. 1500. 1600.]]

dropna (columns):
[[1500.]
 [   0.]
 [1800.]]


==================== x[np.logical_not(np.isnan(x))] for 2D: ====================
Input:
[[1400. 1500. 1600.]
 [  nan    0.   nan]
 [1700. 1800.   nan]]

dropna:
[1400. 1500. 1600. 1700.]

Якщо ви використовуєте numpy

# first get the indices where the values are finite
ii = np.isfinite(x)

# second get the values
x = x[ii]

Найпростіший спосіб:

numpy.nan_to_num(x)

Документація: https://docs.scipy.org/doc/numpy/reference/generated/numpy.nan_to_num.html

Це мій підхід до фільтрації ndarray "X" для NaNs та infs,

Я створюю карту рядків без будь-якого NaNта будь-якого infнаступного:

idx = np.where((np.isnan(X)==False) & (np.isinf(X)==False))

idx - кортеж. У другому стовпці ( idx[1]) містяться індекси масиву, де в рядку немає NaN, ані інф .

Тоді:

filtered_X = X[idx[1]]

filtered_Xмістить X без NaN nor inf.

@ відповідь jmetz - це, мабуть, саме той, хто найбільше потребує; однак він дає одновимірний масив, наприклад робить його непридатним для видалення цілих рядків або стовпців у матрицях.

Для цього слід зменшити логічний масив до одного виміру, а потім проіндексувати цільовий масив. Наприклад, нижче буде видалено рядки, які мають принаймні одне значення NaN:

x = x[~numpy.isnan(x).any(axis=1)]

Детальніше дивіться тут .