Спеціальне сортування у фреймі даних pandas


89

У мене є фрейм даних Python Pandas, у якому стовпець містить назву місяця.

Як я можу зробити власне сортування за допомогою словника, наприклад:

custom_dict = {'March':0, 'April':1, 'Dec':3}  

1
Чи означає стовпець назву місяця, що існує стовпець, який містить імена місяців (як мій відповідь), або багато стовпців з іменами стовпців як імена місяців (як eumiro)?
Andy Hayden,

1
Прийнята відповідь застаріла, а також є технічно неправильною, оскільки pd.Categoricalне трактує категорії як упорядковані за замовчуванням. Дивіться цю відповідь .
cs95

Відповіді:


141

Pandas 0.15 представив категоріальну серію , яка дозволяє набагато чіткіше це зробити:

Спочатку зробіть стовпець місяця категоричним і вкажіть порядок використання.

In [21]: df['m'] = pd.Categorical(df['m'], ["March", "April", "Dec"])

In [22]: df  # looks the same!
Out[22]:
   a  b      m
0  1  2  March
1  5  6    Dec
2  3  4  April

Тепер, коли ви сортуєте стовпець місяця, він буде сортуватися щодо цього списку:

In [23]: df.sort_values("m")
Out[23]:
   a  b      m
0  1  2  March
2  3  4  April
1  5  6    Dec

Примітка: якщо значення немає у списку, воно буде перетворено в NaN.


Старіша відповідь для зацікавлених ...

Ви можете створити проміжну серію, і set_indexпро це:

df = pd.DataFrame([[1, 2, 'March'],[5, 6, 'Dec'],[3, 4, 'April']], columns=['a','b','m'])
s = df['m'].apply(lambda x: {'March':0, 'April':1, 'Dec':3}[x])
s.sort_values()

In [4]: df.set_index(s.index).sort()
Out[4]: 
   a  b      m
0  1  2  March
1  3  4  April
2  5  6    Dec

Як зазначалося, у нових пандах у Series є replaceспосіб зробити це більш елегантно:

s = df['m'].replace({'March':0, 'April':1, 'Dec':3})

Невелика різниця полягає в тому, що це не підвищиться, якщо поза словником є ​​значення (воно просто залишиться незмінним).


s = df['m'].replace({'March':0, 'April':1, 'Dec':3})працює і для 2-го рядка - просто заради того, щоб хтось вивчав таких панд, як я
kdauria

@kdauria гарне місце! (минув деякий час з того часу, як я це писав!) замінити, безумовно, найкращий варіант, іншим є використання .apply({'March':0, 'April':1, 'Dec':3}.get):) Через 0,15 ми матимемо категоріальні ряди / стовпці, тому найкращим способом буде використовувати це, а потім сортування буде просто працювати.
Andy Hayden,

@AndyHayden Я дозволив собі замінити другий рядок методом 'replace'. Сподіваюся, це нормально.
Faheem Mitha

Редагування @AndyHayden відхилено, але я все ще вважаю, що це розумна зміна.
Faheem Mitha

7
Просто переконайтеся, що ви використовуєте df.sort_values("m")новіші панди (замість df.sort("m")), інакше ви отримаєте AttributeError: 'DataFrame' object has no attribute 'sort';)
мозковий штурм

17

панди> = 1.1

Незабаром ви зможете використовувати sort_valuesз keyаргументом:

pd.__version__
# '1.1.0.dev0+2004.g8d10bfb6f'

custom_dict = {'March': 0, 'April': 1, 'Dec': 3} 
df

   a  b      m
0  1  2  March
1  5  6    Dec
2  3  4  April

df.sort_values(by=['m'], key=lambda x: x.map(custom_dict))

   a  b      m
0  1  2  March
2  3  4  April
1  5  6    Dec

keyАргумент приймає в якості вхідних серії і повертає серію. Ця серія внутрішньо аргументована, і відсортовані індекси використовуються для впорядкування вхідного DataFrame. Якщо є кілька стовпців для сортування, ключова функція буде застосована до кожного по черзі. Див. Сортування за допомогою клавіш .


панд <= 1,0.X

Одним простим методом є використання вихідних даних Series.mapта Series.argsortіндексування dfвикористання DataFrame.iloc(оскільки argsort виробляє відсортовані цілочисельні позиції); оскільки у вас є словник; це стає легко.

df.iloc[df['m'].map(custom_dict).argsort()]

   a  b      m
0  1  2  March
2  3  4  April
1  5  6    Dec

Якщо вам потрібно відсортувати за спаданням , інвертуйте відображення.

df.iloc[(-df['m'].map(custom_dict)).argsort()]

   a  b      m
1  5  6    Dec
2  3  4  April
0  1  2  March

Зверніть увагу, що це працює лише з числовими елементами. В іншому випадку вам доведеться обійти це шляхом використання sort_valuesта доступу до індексу:

df.loc[df['m'].map(custom_dict).sort_values(ascending=False).index]

   a  b      m
1  5  6    Dec
2  3  4  April
0  1  2  March

Доступно більше опцій з astype(це застаріло зараз), або pd.Categorical, але ordered=Trueдля правильної роботи потрібно вказати .

# Older version,
# df['m'].astype('category', 
#                categories=sorted(custom_dict, key=custom_dict.get), 
#                ordered=True)
df['m'] = pd.Categorical(df['m'], 
                         categories=sorted(custom_dict, key=custom_dict.get), 
                         ordered=True)

Тепер простий sort_valuesдзвінок зробить трюк:

df.sort_values('m')
 
   a  b      m
0  1  2  March
2  3  4  April
1  5  6    Dec

Категоричне впорядкування також буде виконано при groupbyсортуванні вихідних даних.


2
Ви вже наголошували на цьому, але я хотів би повторити на випадок, якщо хтось інший пропустить і пропустить: Pandas Categorical встановлюється ordered=Noneза замовчуванням. Якщо не встановлено, порядок буде неправильним, або перерва на V23. Функція Max, зокрема, дає TypeError (категоріальна не впорядковується для роботи max).
Dave Liu

16

Трохи пізно з грою, але ось спосіб створити функцію, яка сортує об’єкти pandas Series, DataFrame та multiindex DataFrame за допомогою довільних функцій.

Я використовую df.iloc[index]метод, який посилається на рядок у Series / DataFrame за позицією (порівняно з df.loc, який посилається за значенням). Використовуючи це, ми просто повинні мати функцію, яка повертає ряд позиційних аргументів:

def sort_pd(key=None,reverse=False,cmp=None):
    def sorter(series):
        series_list = list(series)
        return [series_list.index(i) 
           for i in sorted(series_list,key=key,reverse=reverse,cmp=cmp)]
    return sorter

Ви можете використовувати це для створення власних функцій сортування. Це працює на кадрі даних, використаному у відповіді Енді Хейдена:

df = pd.DataFrame([
    [1, 2, 'March'],
    [5, 6, 'Dec'],
    [3, 4, 'April']], 
  columns=['a','b','m'])

custom_dict = {'March':0, 'April':1, 'Dec':3}
sort_by_custom_dict = sort_pd(key=custom_dict.get)

In [6]: df.iloc[sort_by_custom_dict(df['m'])]
Out[6]:
   a  b  m
0  1  2  March
2  3  4  April
1  5  6  Dec

Це також працює на об'єктах DataFrames та Series:

months = ['Jan','Feb','Mar','Apr','May','Jun','Jul','Aug','Sep','Oct','Nov','Dec']

df = pd.DataFrame([
    ['New York','Mar',12714],
    ['New York','Apr',89238],
    ['Atlanta','Jan',8161],
    ['Atlanta','Sep',5885],
  ],columns=['location','month','sales']).set_index(['location','month'])

sort_by_month = sort_pd(key=months.index)

In [10]: df.iloc[sort_by_month(df.index.get_level_values('month'))]
Out[10]:
                 sales
location  month  
Atlanta   Jan    8161
New York  Mar    12714
          Apr    89238
Atlanta   Sep    5885

sort_by_last_digit = sort_pd(key=lambda x: x%10)

In [12]: pd.Series(list(df['sales'])).iloc[sort_by_last_digit(df['sales'])]
Out[12]:
2    8161
0   12714
3    5885
1   89238

Для мене це здається чистим, але він активно використовує операції python, а не покладається на оптимізовані операції з пандами. Я не робив жодного стрес-тестування, але я думаю, це може стати повільним на дуже великих DataFrames. Не впевнений у порівнянні продуктивності із додаванням, сортуванням та видаленням стовпця. Будемо вдячні за будь-які поради щодо прискорення коду!


Чи буде це працювати для сортування кількох стовпців / індексів?
ConanG

так, але вибрана відповідь - набагато кращий спосіб це зробити. Якщо у вас кілька індексів, просто розташуйте їх відповідно до упорядкованого порядку, а потім використовуйте df.sort_index()для сортування всіх рівнів індексу.
Майкл Дельгадо,

9
import pandas as pd
custom_dict = {'March':0,'April':1,'Dec':3}

df = pd.DataFrame(...) # with columns April, March, Dec (probably alphabetically)

df = pd.DataFrame(df, columns=sorted(custom_dict, key=custom_dict.get))

повертає DataFrame зі стовпцями березень, квітень, грудень


Це сортує фактичні стовпці, а не сортує рядки на основі користувацького предиката в стовпці?
cs95
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.