Як я можу фільтрувати рядки під навантаженням у функції Pandas read_csv?

Як я можу відфільтрувати, які рядки CSV завантажуються в пам’ять за допомогою панд? Це здається варіантом, який слід знайти read_csv. Мені чогось не вистачає?

Приклад: у нас CSV із стовпчиком позначки часу, і ми хотіли б завантажити лише ті рядки, які з позначкою часу перевищують задану константу.

Немає можливості фільтрувати рядки перед завантаженням файлу CSV в об’єкт pandas.

Ви можете завантажити файл, а потім фільтрувати за допомогою df[df['field'] > constant], або якщо у вас дуже великий файл, і вас турбує нестача пам’яті, використовуйте ітератор і застосовуйте фільтр під час об’єднання фрагментів вашого файлу, наприклад:

import pandas as pd
iter_csv = pd.read_csv('file.csv', iterator=True, chunksize=1000)
df = pd.concat([chunk[chunk['field'] > constant] for chunk in iter_csv])

Ви можете змінювати значення відповідно chunksizeдо вашої доступної пам'яті. Детальніше див. Тут .

Я не знайшов прямого способу зробити це в контексті read_csv. Однак read_csvповертає DataFrame, який можна відфільтрувати, вибравши рядки за логічним вектором df[bool_vec]:

filtered = df[(df['timestamp'] > targettime)]

Це вибір усіх рядків у df (якщо df - це будь-який DataFrame, наприклад, результат read_csvвиклику, який, принаймні, містить стовпець datetime timestamp), для яких значення в timestampстовпці перевищують значення цільового часу. Подібне запитання .

Якщо відфільтрований діапазон суміжний (як це зазвичай буває з часовими (штампними) фільтрами), то найшвидшим рішенням є жорстке кодування діапазону рядків. Просто комбінуйте skiprows=range(1, start_row)з nrows=end_rowпараметрами. Тоді імпорт займає секунди, де прийняте рішення займе хвилини. Кілька експериментів з початковими даними start_rowне є величезними витратами, враховуючи економію часу імпорту. Зверніть увагу, що ми зберегли рядок заголовка за допомогою range(1,..).

Ви можете вказати nrowsпараметр.

import pandas as pd df = pd.read_csv('file.csv', nrows=100)

Цей код добре працює у версії 0.20.3.

Якщо ви використовуєте Linux, ви можете використовувати grep.

# to import either on Python2 or Python3
import pandas as pd
from time import time # not needed just for timing
try:
    from StringIO import StringIO
except ImportError:
    from io import StringIO


def zgrep_data(f, string):
    '''grep multiple items f is filepath, string is what you are filtering for'''

    grep = 'grep' # change to zgrep for gzipped files
    print('{} for {} from {}'.format(grep,string,f))
    start_time = time()
    if string == '':
        out = subprocess.check_output([grep, string, f])
        grep_data = StringIO(out)
        data = pd.read_csv(grep_data, sep=',', header=0)

    else:
        # read only the first row to get the columns. May need to change depending on 
        # how the data is stored
        columns = pd.read_csv(f, sep=',', nrows=1, header=None).values.tolist()[0]    

        out = subprocess.check_output([grep, string, f])
        grep_data = StringIO(out)

        data = pd.read_csv(grep_data, sep=',', names=columns, header=None)

    print('{} finished for {} - {} seconds'.format(grep,f,time()-start_time))
    return data