Чи можуть панди автоматично розпізнавати дати?

Сьогодні я був позитивно здивований тим фактом, що під час читання даних із файлу даних (наприклад) панди здатні розпізнавати типи значень:

df = pandas.read_csv('test.dat', delimiter=r"\s+", names=['col1','col2','col3'])

Наприклад, це можна перевірити таким чином:

for i, r in df.iterrows():
    print type(r['col1']), type(r['col2']), type(r['col3'])

Зокрема цілі числа, поплавці та рядки були розпізнані правильно. Тим НЕ менше, у мене є стовпець , який має дати в наступному форматі: 2013-6-4. Ці дати були розпізнані як рядки (а не як об'єкти дати python). Чи є спосіб "дізнатися" панди до визнаних дат?

Вам слід додати parse_dates=True, або, parse_dates=['column name']читаючи, що зазвичай достатньо, щоб магічно розібрати його. Але завжди є дивні формати, які потрібно визначити вручну. У такому випадку ви також можете додати функцію аналізатора дати, що є найбільш гнучким можливим способом.

Припустимо, у вас є стовпець "datetime" із рядком, а потім:

dateparse = lambda x: pd.datetime.strptime(x, '%Y-%m-%d %H:%M:%S')

df = pd.read_csv(infile, parse_dates=['datetime'], date_parser=dateparse)

Таким чином ви навіть можете об'єднати декілька стовпців в один стовпець дати, цей об'єднує стовпець "дата" та "час" в один стовпець "дата":

dateparse = lambda x: pd.datetime.strptime(x, '%Y-%m-%d %H:%M:%S')

df = pd.read_csv(infile, parse_dates={'datetime': ['date', 'time']}, date_parser=dateparse)

Ви можете знайти директиви (тобто букви, які будуть використовуватися для різних форматів) для strptimeта strftime на цій сторінці .

Можливо, інтерфейс панди змінився з моменту відповіді @Rutger, але у версії, яку я використовую (0.15.2), date_parserфункція отримує список дат замість одного значення. У цьому випадку його код слід оновити так:

dateparse = lambda dates: [pd.datetime.strptime(d, '%Y-%m-%d %H:%M:%S') for d in dates]

df = pd.read_csv(infile, parse_dates=['datetime'], date_parser=dateparse)

метод pandas read_csv чудово підходить для розбору дат. Повна документація на веб-сайті http://pandas.pydata.org/pandas-docs/stable/generated/pandas.io.parsers.read_csv.html

ви навіть можете мати різні частини дати в різних стовпцях і передавати параметр:

parse_dates : boolean, list of ints or names, list of lists, or dict
If True -> try parsing the index. If [1, 2, 3] -> try parsing columns 1, 2, 3 each as a
separate date column. If [[1, 3]] -> combine columns 1 and 3 and parse as a single date
column. {‘foo’ : [1, 3]} -> parse columns 1, 3 as date and call result ‘foo’

Зондування дат за замовчуванням працює чудово, але, схоже, воно є упередженим щодо форматів дати північноамериканських країн. Якщо ви живете в іншому місці, час від часу ви можете бути спіймані результатами. Наскільки я пам'ятаю, 1/6/2000 означає 6 січня в США на відміну від 1 червня, де я живу. Досить розумно розмахувати ними, якщо використовуються такі дати, як 23/6/2000. Напевно, безпечніше залишатися з варіантами дати у РРРРММДД. Вибачте перед розробниками панд, ось, але останнім часом я не перевіряв це місцевими датами.

ви можете використовувати параметр date_parser для передачі функції для перетворення формату.

date_parser : function
Function to use for converting a sequence of string columns to an array of datetime
instances. The default uses dateutil.parser.parser to do the conversion.

Ви можете використовувати, pandas.to_datetime()як рекомендовано в документації, для pandas.read_csv():

Якщо стовпець або індекс містить непарну дату, весь стовпець або індекс буде повернуто без змін у вигляді об'єктних даних. Для нестандартного розбору дати використовуйте pd.to_datetimeпісля pd.read_csv.

Демонстрація:

>>> D = {'date': '2013-6-4'}
>>> df = pd.DataFrame(D, index=[0])
>>> df
       date
0  2013-6-4
>>> df.dtypes
date    object
dtype: object
>>> df['date'] = pd.to_datetime(df.date, format='%Y-%m-%d')
>>> df
        date
0 2013-06-04
>>> df.dtypes
date    datetime64[ns]
dtype: object

Під час об'єднання двох стовпців в один стовпчик дати, прийнята відповідь створює помилку (панди версії 0.20.3), оскільки стовпці надсилаються до функції date_parser окремо.

Наступні роботи:

def dateparse(d,t):
    dt = d + " " + t
    return pd.datetime.strptime(dt, '%d/%m/%Y %H:%M:%S')

df = pd.read_csv(infile, parse_dates={'datetime': ['date', 'time']}, date_parser=dateparse)

Так - відповідно до pandas.read_csv документації :

Примітка: для дат, які мають формат iso8601, існує швидкий шлях .

Отже, якщо у вашому csv є стовпець з назвою, datetimeа дати виглядають, як, 2013-01-01T01:01наприклад, запустивши це, панди (я на v0.19.2) підбирають дату та час автоматично:

df = pd.read_csv('test.csv', parse_dates=['datetime'])

Зауважте, що вам потрібно явно пройти parse_dates, без цього не виходить.

Перевірте:

df.dtypes

Ви повинні побачити тип даних стовпця datetime64[ns]

Якщо продуктивність важлива для вас, переконайтесь, що ви:

import sys
import timeit
import pandas as pd

print('Python %s on %s' % (sys.version, sys.platform))
print('Pandas version %s' % pd.__version__)

repeat = 3
numbers = 100

def time(statement, _setup=None):
    print (min(
        timeit.Timer(statement, setup=_setup or setup).repeat(
            repeat, numbers)))

print("Format %m/%d/%y")
setup = """import pandas as pd
import io

data = io.StringIO('''\
ProductCode,Date
''' + '''\
x1,07/29/15
x2,07/29/15
x3,07/29/15
x4,07/30/15
x5,07/29/15
x6,07/29/15
x7,07/29/15
y7,08/05/15
x8,08/05/15
z3,08/05/15
''' * 100)"""

time('pd.read_csv(data); data.seek(0)')
time('pd.read_csv(data, parse_dates=["Date"]); data.seek(0)')
time('pd.read_csv(data, parse_dates=["Date"],'
     'infer_datetime_format=True); data.seek(0)')
time('pd.read_csv(data, parse_dates=["Date"],'
     'date_parser=lambda x: pd.datetime.strptime(x, "%m/%d/%y")); data.seek(0)')

print("Format %Y-%m-%d %H:%M:%S")
setup = """import pandas as pd
import io

data = io.StringIO('''\
ProductCode,Date
''' + '''\
x1,2016-10-15 00:00:43
x2,2016-10-15 00:00:56
x3,2016-10-15 00:00:56
x4,2016-10-15 00:00:12
x5,2016-10-15 00:00:34
x6,2016-10-15 00:00:55
x7,2016-10-15 00:00:06
y7,2016-10-15 00:00:01
x8,2016-10-15 00:00:00
z3,2016-10-15 00:00:02
''' * 1000)"""

time('pd.read_csv(data); data.seek(0)')
time('pd.read_csv(data, parse_dates=["Date"]); data.seek(0)')
time('pd.read_csv(data, parse_dates=["Date"],'
     'infer_datetime_format=True); data.seek(0)')
time('pd.read_csv(data, parse_dates=["Date"],'
     'date_parser=lambda x: pd.datetime.strptime(x, "%Y-%m-%d %H:%M:%S")); data.seek(0)')

відбитки:

Python 3.7.1 (v3.7.1:260ec2c36a, Oct 20 2018, 03:13:28) 
[Clang 6.0 (clang-600.0.57)] on darwin
Pandas version 0.23.4
Format %m/%d/%y
0.19123052499999993
8.20691274
8.143124389
1.2384357139999977
Format %Y-%m-%d %H:%M:%S
0.5238807110000039
0.9202787830000005
0.9832778819999959
12.002349824999996

Таким чином , з ISO8601-відформатованої датою ( по- %Y-%m-%d %H:%M:%Sвидимому , ISO8601 форматом дата, я припускаю , що T можна відкинути і замінити пробіл) , ви повинні НЕ вказати infer_datetime_format(що робить різниці з більш загальними або очевидно) і передаючи свій власний аналізатор просто калічить виконання. З іншого боку, все-таки date_parserмає значення не надто стандартні формати для дня. Будьте впевнені, час, перш ніж оптимізувати, як зазвичай.

Під час завантаження CSV-файлу містяться стовпці дати. У нас є два підходи, щоб зробити панди для розпізнавання стовпця дати, тобто

1. Панди явно розпізнають формат за допомогою аргументу date_parser=mydateparser

2. Панди неявно розпізнають формат по agr infer_datetime_format=True

Деякі дані стовпців дати

01.01.18

01.02.18

Тут ми не знаємо перших двох речей: це може бути місяць чи день. Тому в цьому випадку ми повинні використовувати метод 1: - Явне передавання формату

    mydateparser = lambda x: pd.datetime.strptime(x, "%m/%d/%y")
    df = pd.read_csv(file_name, parse_dates=['date_col_name'],
date_parser=mydateparser)

Спосіб 2: - Неявне або автоматичне розпізнавання формату

df = pd.read_csv(file_name, parse_dates=[date_col_name],infer_datetime_format=True)