У мене є фрейм даних Python Pandas, у якому стовпець містить назву місяця.
Як я можу зробити власне сортування за допомогою словника, наприклад:
custom_dict = {'March':0, 'April':1, 'Dec':3}
У мене є фрейм даних Python Pandas, у якому стовпець містить назву місяця.
Як я можу зробити власне сортування за допомогою словника, наприклад:
custom_dict = {'March':0, 'April':1, 'Dec':3}
pd.Categorical
не трактує категорії як упорядковані за замовчуванням. Дивіться цю відповідь .
Відповіді:
Pandas 0.15 представив категоріальну серію , яка дозволяє набагато чіткіше це зробити:
Спочатку зробіть стовпець місяця категоричним і вкажіть порядок використання.
In [21]: df['m'] = pd.Categorical(df['m'], ["March", "April", "Dec"])
In [22]: df # looks the same!
Out[22]:
a b m
0 1 2 March
1 5 6 Dec
2 3 4 April
Тепер, коли ви сортуєте стовпець місяця, він буде сортуватися щодо цього списку:
In [23]: df.sort_values("m")
Out[23]:
a b m
0 1 2 March
2 3 4 April
1 5 6 Dec
Примітка: якщо значення немає у списку, воно буде перетворено в NaN.
Старіша відповідь для зацікавлених ...
Ви можете створити проміжну серію, і set_index
про це:
df = pd.DataFrame([[1, 2, 'March'],[5, 6, 'Dec'],[3, 4, 'April']], columns=['a','b','m'])
s = df['m'].apply(lambda x: {'March':0, 'April':1, 'Dec':3}[x])
s.sort_values()
In [4]: df.set_index(s.index).sort()
Out[4]:
a b m
0 1 2 March
1 3 4 April
2 5 6 Dec
Як зазначалося, у нових пандах у Series є replace
спосіб зробити це більш елегантно:
s = df['m'].replace({'March':0, 'April':1, 'Dec':3})
Невелика різниця полягає в тому, що це не підвищиться, якщо поза словником є значення (воно просто залишиться незмінним).
s = df['m'].replace({'March':0, 'April':1, 'Dec':3})
працює і для 2-го рядка - просто заради того, щоб хтось вивчав таких панд, як я
.apply({'March':0, 'April':1, 'Dec':3}.get)
:) Через 0,15 ми матимемо категоріальні ряди / стовпці, тому найкращим способом буде використовувати це, а потім сортування буде просто працювати.
df.sort_values("m")
новіші панди (замість df.sort("m")
), інакше ви отримаєте AttributeError: 'DataFrame' object has no attribute 'sort'
;)
Незабаром ви зможете використовувати sort_values
з key
аргументом:
pd.__version__
# '1.1.0.dev0+2004.g8d10bfb6f'
custom_dict = {'March': 0, 'April': 1, 'Dec': 3}
df
a b m
0 1 2 March
1 5 6 Dec
2 3 4 April
df.sort_values(by=['m'], key=lambda x: x.map(custom_dict))
a b m
0 1 2 March
2 3 4 April
1 5 6 Dec
key
Аргумент приймає в якості вхідних серії і повертає серію. Ця серія внутрішньо аргументована, і відсортовані індекси використовуються для впорядкування вхідного DataFrame. Якщо є кілька стовпців для сортування, ключова функція буде застосована до кожного по черзі. Див. Сортування за допомогою клавіш .
Одним простим методом є використання вихідних даних Series.map
та Series.argsort
індексування df
використання DataFrame.iloc
(оскільки argsort виробляє відсортовані цілочисельні позиції); оскільки у вас є словник; це стає легко.
df.iloc[df['m'].map(custom_dict).argsort()]
a b m
0 1 2 March
2 3 4 April
1 5 6 Dec
Якщо вам потрібно відсортувати за спаданням , інвертуйте відображення.
df.iloc[(-df['m'].map(custom_dict)).argsort()]
a b m
1 5 6 Dec
2 3 4 April
0 1 2 March
Зверніть увагу, що це працює лише з числовими елементами. В іншому випадку вам доведеться обійти це шляхом використання sort_values
та доступу до індексу:
df.loc[df['m'].map(custom_dict).sort_values(ascending=False).index]
a b m
1 5 6 Dec
2 3 4 April
0 1 2 March
Доступно більше опцій з astype
(це застаріло зараз), або pd.Categorical
, але ordered=True
для правильної роботи потрібно вказати .
# Older version,
# df['m'].astype('category',
# categories=sorted(custom_dict, key=custom_dict.get),
# ordered=True)
df['m'] = pd.Categorical(df['m'],
categories=sorted(custom_dict, key=custom_dict.get),
ordered=True)
Тепер простий sort_values
дзвінок зробить трюк:
df.sort_values('m')
a b m
0 1 2 March
2 3 4 April
1 5 6 Dec
Категоричне впорядкування також буде виконано при groupby
сортуванні вихідних даних.
ordered=None
за замовчуванням. Якщо не встановлено, порядок буде неправильним, або перерва на V23. Функція Max, зокрема, дає TypeError (категоріальна не впорядковується для роботи max).
Трохи пізно з грою, але ось спосіб створити функцію, яка сортує об’єкти pandas Series, DataFrame та multiindex DataFrame за допомогою довільних функцій.
Я використовую df.iloc[index]
метод, який посилається на рядок у Series / DataFrame за позицією (порівняно з df.loc
, який посилається за значенням). Використовуючи це, ми просто повинні мати функцію, яка повертає ряд позиційних аргументів:
def sort_pd(key=None,reverse=False,cmp=None):
def sorter(series):
series_list = list(series)
return [series_list.index(i)
for i in sorted(series_list,key=key,reverse=reverse,cmp=cmp)]
return sorter
Ви можете використовувати це для створення власних функцій сортування. Це працює на кадрі даних, використаному у відповіді Енді Хейдена:
df = pd.DataFrame([
[1, 2, 'March'],
[5, 6, 'Dec'],
[3, 4, 'April']],
columns=['a','b','m'])
custom_dict = {'March':0, 'April':1, 'Dec':3}
sort_by_custom_dict = sort_pd(key=custom_dict.get)
In [6]: df.iloc[sort_by_custom_dict(df['m'])]
Out[6]:
a b m
0 1 2 March
2 3 4 April
1 5 6 Dec
Це також працює на об'єктах DataFrames та Series:
months = ['Jan','Feb','Mar','Apr','May','Jun','Jul','Aug','Sep','Oct','Nov','Dec']
df = pd.DataFrame([
['New York','Mar',12714],
['New York','Apr',89238],
['Atlanta','Jan',8161],
['Atlanta','Sep',5885],
],columns=['location','month','sales']).set_index(['location','month'])
sort_by_month = sort_pd(key=months.index)
In [10]: df.iloc[sort_by_month(df.index.get_level_values('month'))]
Out[10]:
sales
location month
Atlanta Jan 8161
New York Mar 12714
Apr 89238
Atlanta Sep 5885
sort_by_last_digit = sort_pd(key=lambda x: x%10)
In [12]: pd.Series(list(df['sales'])).iloc[sort_by_last_digit(df['sales'])]
Out[12]:
2 8161
0 12714
3 5885
1 89238
Для мене це здається чистим, але він активно використовує операції python, а не покладається на оптимізовані операції з пандами. Я не робив жодного стрес-тестування, але я думаю, це може стати повільним на дуже великих DataFrames. Не впевнений у порівнянні продуктивності із додаванням, сортуванням та видаленням стовпця. Будемо вдячні за будь-які поради щодо прискорення коду!
df.sort_index()
для сортування всіх рівнів індексу.
import pandas as pd
custom_dict = {'March':0,'April':1,'Dec':3}
df = pd.DataFrame(...) # with columns April, March, Dec (probably alphabetically)
df = pd.DataFrame(df, columns=sorted(custom_dict, key=custom_dict.get))
повертає DataFrame зі стовпцями березень, квітень, грудень