Панди python: Видаліть дублікати стовпцями A, зберігаючи рядок з найвищим значенням у стовпці B

У мене є фрейм даних з повторюваними значеннями у стовпці А. Я хочу скинути дублікати, зберігаючи рядок з найвищим значенням у стовпці B.

Отже це:

A B
1 10
1 20
2 30
2 40
3 10

Слід перетворитись на це:

A B
1 20
2 40
3 10

Уес додав кілька приємних функцій для видалення дублікатів: http://wesmckinney.com/blog/?p=340 . Але AFAICT, він розроблений для точних дублікатів, тому немає жодних згадок про критерії вибору, які рядки зберігатимуться.

Я здогадуюсь, мабуть, простий спосіб зробити це --- можливо так просто, як сортування фрейму даних перед тим, як скидати дублікати ---, але я не знаю внутрішньої логіки groupby досить добре, щоб це зрозуміти. Будь-які пропозиції?

Це займає останнє. Не максимум, хоча:

In [10]: df.drop_duplicates(subset='A', keep="last")
Out[10]: 
   A   B
1  1  20
3  2  40
4  3  10

Ви також можете зробити щось на кшталт:

In [12]: df.groupby('A', group_keys=False).apply(lambda x: x.loc[x.B.idxmax()])
Out[12]: 
   A   B
A       
1  1  20
2  2  40
3  3  10

Верхня відповідь робить занадто багато роботи і виглядає дуже повільно для великих наборів даних. applyповільно і, якщо можливо, його слід уникати. ixє застарілим і цього слід уникати.

df.sort_values('B', ascending=False).drop_duplicates('A').sort_index()

   A   B
1  1  20
3  2  40
4  3  10

Або просто згрупуйте всі інші стовпці та візьміть максимум потрібного стовпця. df.groupby('A', as_index=False).max()

Найпростіше рішення:

Щоб скинути дублікати на основі одного стовпця:

df = df.drop_duplicates('column_name', keep='last')

Щоб скинути дублікати на основі кількох стовпців:

df = df.drop_duplicates(['col_name1','col_name2','col_name3'], keep='last')

Спробуйте це:

df.groupby(['A']).max()

Я б сортував кадр даних спочатку зі стовпцем B у спадному стані, потім скидав дублікати для стовпця A і продовжував спочатку

df = df.sort_values(by='B', ascending=False)
df = df.drop_duplicates(subset='A', keep="first")

без жодної групи

Ви можете спробувати і це

df.drop_duplicates(subset='A', keep='last')

Я передав це з https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.drop_duplicates.html

Я думаю, що у вашому випадку вам не дуже потрібна група. Я б сортував по порядку зменшення стовпця B, а потім скидав дублікати в стовпчик A, і якщо ви хочете, ви також можете мати новий приємний та чистий індекс, як:

df.sort_values('B', ascending=False).drop_duplicates('A').sort_index().reset_index(drop=True)

Ось варіант, який мені довелося вирішити, про який варто поділитися: для кожного унікального рядка в columnAмені хотілося знайти найпоширеніший асоційований рядок у columnB.

df.groupby('columnA').agg({'columnB': lambda x: x.mode().any()}).reset_index()

.any()Вибирає один , якщо є зв'язок для режиму. (Зверніть увагу, що використання .any()на Series ints повертає булевий, а не вибір одного з них.)

Для оригінального питання відповідний підхід спрощується

df.groupby('columnA').columnB.agg('max').reset_index().

Коли вже дані повідомлення відповідають на питання, я змінив невелику зміну, додавши назву стовпця, в якому застосовується функція max () для кращої читабельності коду.

df.groupby('A', as_index=False)['B'].max()

Найпростіший спосіб зробити це:

# First you need to sort this DF as Column A as ascending and column B as descending 
# Then you can drop the duplicate values in A column 
# Optional - you can reset the index and get the nice data frame again
# I'm going to show you all in one step. 

d = {'A': [1,1,2,3,1,2,3,1], 'B': [30, 40,50,42,38,30,25,32]}
df = pd.DataFrame(data=d)
df

    A   B
0   1   30
1   1   40
2   2   50
3   3   42
4   1   38
5   2   30
6   3   25
7   1   32


df = df.sort_values(['A','B'], ascending =[True,False]).drop_duplicates(['A']).reset_index(drop=True)

df

    A   B
0   1   40
1   2   50
2   3   42

це також працює:

a=pd.DataFrame({'A':a.groupby('A')['B'].max().index,'B':a.groupby('A')       ['B'].max().values})

Я не збираюся давати вам повну відповідь (я не думаю, що ви шукаєте синтаксичного розбору та запису, щоб подати частину), але основний натяк повинен бути достатнім: використовуйте set()функцію python , а потім sorted()або в .sort()поєднанні з .reverse():

>>> a=sorted(set([10,60,30,10,50,20,60,50,60,10,30]))
>>> a
[10, 20, 30, 50, 60]
>>> a.reverse()
>>> a
[60, 50, 30, 20, 10]