Панди: заповнення відсутніх значень середнім значенням у кожній групі

Це має бути просто, але найближчим, що я знайшов, є цей пост: pandas: Заповнення відсутніх значень у групі , і я все ще не можу вирішити свою проблему ....

Припустимо, у мене є такий фрейм даних

df = pd.DataFrame({'value': [1, np.nan, np.nan, 2, 3, 1, 3, np.nan, 3], 'name': ['A','A', 'B','B','B','B', 'C','C','C']})

  name  value
0    A      1
1    A    NaN
2    B    NaN
3    B      2
4    B      3
5    B      1
6    C      3
7    C    NaN
8    C      3

і я хотів би заповнити "NaN" із середнім значенням у кожній групі "name", тобто

      name  value
0    A      1
1    A      1
2    B      2
3    B      2
4    B      3
5    B      1
6    C      3
7    C      3
8    C      3

Я не знаю, куди піти:

grouped = df.groupby('name').mean()

Спасибі купу.

Одним із способів було б використовувати transform:

>>> df
  name  value
0    A      1
1    A    NaN
2    B    NaN
3    B      2
4    B      3
5    B      1
6    C      3
7    C    NaN
8    C      3
>>> df["value"] = df.groupby("name").transform(lambda x: x.fillna(x.mean()))
>>> df
  name  value
0    A      1
1    A      1
2    B      2
3    B      2
4    B      3
5    B      1
6    C      3
7    C      3
8    C      3

fillna+ groupby+ transform+mean

Це здається інтуїтивно зрозумілим:

df['value'] = df['value'].fillna(df.groupby('name')['value'].transform('mean'))

groupby+ transformСинтаксис відображає GROUPWISE середнє значення для індексу вихідного dataframe. Це приблизно еквівалентно рішенню @ DSM , але уникає необхідності визначати анонімну lambdaфункцію.

@DSM має правильну відповідь IMO, але я хотів би поділитися своїм узагальненням та оптимізацією питання: Кілька стовпців для групування та наявність кількох стовпців значень:

df = pd.DataFrame(
    {
        'category': ['X', 'X', 'X', 'X', 'X', 'X', 'Y', 'Y', 'Y'],
        'name': ['A','A', 'B','B','B','B', 'C','C','C'],
        'other_value': [10, np.nan, np.nan, 20, 30, 10, 30, np.nan, 30],
        'value': [1, np.nan, np.nan, 2, 3, 1, 3, np.nan, 3],
    }
)

... дає ...

  category name  other_value value
0        X    A         10.0   1.0
1        X    A          NaN   NaN
2        X    B          NaN   NaN
3        X    B         20.0   2.0
4        X    B         30.0   3.0
5        X    B         10.0   1.0
6        Y    C         30.0   3.0
7        Y    C          NaN   NaN
8        Y    C         30.0   3.0

У цьому узагальненому випадку ми хотіли б згрупувати за categoryі name, і вказувати лише на value.

Це можна вирішити наступним чином:

df['value'] = df.groupby(['category', 'name'])['value']\
    .transform(lambda x: x.fillna(x.mean()))

Зверніть увагу на список стовпців у реченні про групу та про те, що ми вибираємо valueстовпець відразу після групи. Це робить перетворення запущеним лише у цьому конкретному стовпці. Ви можете додати його до кінця, але тоді ви будете запускати його для всіх стовпців, лише щоб викинути всі, крім одного стовпчика міри в кінці. Стандартний планувальник запитів SQL міг би це змогти оптимізувати, але pandas (0.19.2), схоже, цього не робить.

Тест продуктивності за рахунок збільшення набору даних, роблячи ...

big_df = None
for _ in range(10000):
    if big_df is None:
        big_df = df.copy()
    else:
        big_df = pd.concat([big_df, df])
df = big_df

... підтверджує, що це збільшує швидкість пропорційно кількості стовпців, які вам не потрібно вводити:

import pandas as pd
from datetime import datetime

def generate_data():
    ...

t = datetime.now()
df = generate_data()
df['value'] = df.groupby(['category', 'name'])['value']\
    .transform(lambda x: x.fillna(x.mean()))
print(datetime.now()-t)

# 0:00:00.016012

t = datetime.now()
df = generate_data()
df["value"] = df.groupby(['category', 'name'])\
    .transform(lambda x: x.fillna(x.mean()))['value']
print(datetime.now()-t)

# 0:00:00.030022

На завершальній ноті ви можете узагальнити ще більше, якщо хочете вписати більше одного стовпця, але не всіх:

df[['value', 'other_value']] = df.groupby(['category', 'name'])['value', 'other_value']\
    .transform(lambda x: x.fillna(x.mean()))

Я б зробив це так

df.loc[df.value.isnull(), 'value'] = df.groupby('group').value.transform('mean')

Більшість наведених вище відповідей стосуються використання "groupby" та "transform" для заповнення відсутніх значень.

Але я вважаю за краще використовувати "groupby" із "apply" для заповнення відсутніх значень, що є для мене більш інтуїтивно зрозумілим.

>>> df['value']=df.groupby('name')['value'].apply(lambda x:x.fillna(x.mean()))
>>> df.isnull().sum().sum()
    0 

Ярлик: Groupby + Apply / Lambda + Fillna + Mean

Це рішення все ще працює, якщо ви хочете групувати за кількома стовпцями, щоб замінити відсутні значення.

     >>> df = pd.DataFrame({'value': [1, np.nan, np.nan, 2, 3, np.nan,np.nan, 4, 3], 
    'name': ['A','A', 'B','B','B','B', 'C','C','C'],'class':list('ppqqrrsss')})  

     >>> df
   value name   class
0    1.0    A     p
1    NaN    A     p
2    NaN    B     q
3    2.0    B     q
4    3.0    B     r
5    NaN    B     r
6    NaN    C     s
7    4.0    C     s
8    3.0    C     s

>>> df['value']=df.groupby(['name','class'])['value'].apply(lambda x:x.fillna(x.mean()))

>>> df
        value name   class
    0    1.0    A     p
    1    1.0    A     p
    2    2.0    B     q
    3    2.0    B     q
    4    3.0    B     r
    5    3.0    B     r
    6    3.5    C     s
    7    4.0    C     s
    8    3.0    C     s

Рекомендована високопоставлена ​​відповідь працює лише для pandas Dataframe лише з двома стовпцями. Якщо у вас більше випадків стовпців, використовуйте замість цього:

df['Crude_Birth_rate'] = df.groupby("continent").Crude_Birth_rate.transform(
    lambda x: x.fillna(x.mean()))

def groupMeanValue(group):
    group['value'] = group['value'].fillna(group['value'].mean())
    return group

dft = df.groupby("name").transform(groupMeanValue)

df.fillna(df.groupby(['name'], as_index=False).mean(), inplace=True)

Ви також можете використовувати "dataframe or table_name".apply(lambda x: x.fillna(x.mean())).