Порівняння двох кадрів даних та отримання відмінностей

89

У мене є два кадри даних. Приклади:

df1:
Date       Fruit  Num  Color 
2013-11-24 Banana 22.1 Yellow
2013-11-24 Orange  8.6 Orange
2013-11-24 Apple   7.6 Green
2013-11-24 Celery 10.2 Green

df2:
Date       Fruit  Num  Color 
2013-11-24 Banana 22.1 Yellow
2013-11-24 Orange  8.6 Orange
2013-11-24 Apple   7.6 Green
2013-11-24 Celery 10.2 Green
2013-11-25 Apple  22.1 Red
2013-11-25 Orange  8.6 Orange

Кожен фрейм даних має дату як індекс. Обидва кадри даних мають однакову структуру.

Що я хочу зробити, це порівняти ці два кадри даних і знайти, які рядки знаходяться в df2, а які не в df1. Я хочу порівняти дату (індекс) та перший стовпець (Banana, APple тощо), щоб побачити, чи існують вони у df2 проти df1.

Я спробував наступне:

Для першого підходу я отримую таку помилку: "Виняток: Можна порівнювати лише однаково позначені об'єкти DataFrame" . Я спробував видалити дату як індекс, але отримую ту ж помилку.

На третьому підході я отримую твердження повернути False, але не можу зрозуміти, як насправді бачити різні рядки.

Будь-які вказівники будуть вітатися

python  pandas  dataframe 
— Ерік Д. Браун
джерело
Якщо ви зробите це: cookbook-r.com/Manipulating_data/… , чи позбудеться він виключення `` ідентично позначених об'єктів DataFrame ''?
— Ентоні Конг,
Я багато разів міняв назви стовпців, щоб спробувати обійти проблему без удачі.
— Eric D. Brown
1
FWIW, я змінив назви стовпців на "a, b, c, d" на обох кадрах даних і отримав одне і те ж повідомлення про помилку.
— Eric D. Brown

Відповіді:

103

Цей підхід, df1 != df2працює, лише для фреймів даних з однаковими рядками та стовпцями. Насправді всі осі кадрів даних порівнюються з_indexed_same методом, і виняток викликається, якщо виявляються відмінності, навіть у порядку стовпців / індексів.

Якщо я вас правильно зрозумів, ви хочете знайти не зміни, а симетричну різницю. Для цього одним із підходів може бути об’єднання фреймів даних:

>>> df = pd.concat([df1, df2])
>>> df = df.reset_index(drop=True)

групувати за 

>>> df_gpby = df.groupby(list(df.columns))

отримати індекс унікальних записів

>>> idx = [x[0] for x in df_gpby.groups.values() if len(x) == 1]

фільтр

>>> df.reindex(idx)
         Date   Fruit   Num   Color
9  2013-11-25  Orange   8.6  Orange
8  2013-11-25   Apple  22.1     Red
— алко
джерело
Це була відповідь. Я видалив індекс "Дата" і дотримувався цього підходу, і я отримую правильний результат.
— Eric D. Brown
9
Чи є простий спосіб додати до цього прапор, щоб побачити, які рядки були видалені / додані / змінені з df1 на df2?
— pyCthon
@alko Мені було цікаво, чи pd.concatдодає це лише відсутні елементи з df1? Або він замінює df1повністю на df2?
— Джейк Вонг
@jakewong pd.concat- як використовується тут - робить зовнішнє приєднання. Іншими словами, він об’єднує всі індекси обох df, і це фактично є поведінкою за замовчуванням для pd.concat(), ось документів pandas.pydata.org/pandas-docs/stable/merging.html
— Танос
яку максимальну кількість записів ми можемо порівняти за допомогою панд?
— під
25

Передача фреймів даних у concat у словнику призводить до багатоканального кадру даних, з якого ви можете легко видалити дублікати, що призводить до мультиіндексного кадру даних із різницею між фреймами даних:

import sys
if sys.version_info[0] < 3:
    from StringIO import StringIO
else:
    from io import StringIO
import pandas as pd

DF1 = StringIO("""Date       Fruit  Num  Color 
2013-11-24 Banana 22.1 Yellow
2013-11-24 Orange  8.6 Orange
2013-11-24 Apple   7.6 Green
2013-11-24 Celery 10.2 Green
""")
DF2 = StringIO("""Date       Fruit  Num  Color 
2013-11-24 Banana 22.1 Yellow
2013-11-24 Orange  8.6 Orange
2013-11-24 Apple   7.6 Green
2013-11-24 Celery 10.2 Green
2013-11-25 Apple  22.1 Red
2013-11-25 Orange  8.6 Orange""")


df1 = pd.read_table(DF1, sep='\s+')
df2 = pd.read_table(DF2, sep='\s+')
#%%
dfs_dictionary = {'DF1':df1,'DF2':df2}
df=pd.concat(dfs_dictionary)
df.drop_duplicates(keep=False)

Результат:

             Date   Fruit   Num   Color
DF2 4  2013-11-25   Apple  22.1     Red
    5  2013-11-25  Orange   8.6  Orange
— юр
джерело
1
Це набагато простіший метод, ще одна редакція може полегшити його. Не потрібно вкладати слова у словник, використовуйте df = pd.concat ([df1, df2]), зробить те саме
— лінг
не слід переписувати вбудоване ключове слово dict!
— denfromufa
Чи є спосіб додати до цього, щоб визначити, який кадр даних містив унікальний рядок?
— jlewkovich
Ви можете сказати по першому рівню в мультиіндекс , який містить ключ dataframe в словнику (я оновив вихід з правильними ключами)
— юр
24

Оновлення та розміщення, де - то буде простіше для інших , щоб знайти, лин «s коментар , на юр » s відповідь вище.

df_diff = pd.concat([df1,df2]).drop_duplicates(keep=False)

Тестування за допомогою таких фреймів даних:

df1=pd.DataFrame({
    'Date':['2013-11-24','2013-11-24','2013-11-24','2013-11-24'],
    'Fruit':['Banana','Orange','Apple','Celery'],
    'Num':[22.1,8.6,7.6,10.2],
    'Color':['Yellow','Orange','Green','Green'],
})

df2=pd.DataFrame({
    'Date':['2013-11-24','2013-11-24','2013-11-24','2013-11-24','2013-11-25','2013-11-25'],
    'Fruit':['Banana','Orange','Apple','Celery','Apple','Orange'],
    'Num':[22.1,8.6,7.6,10.2,22.1,8.6],
    'Color':['Yellow','Orange','Green','Green','Red','Orange'],
})

Результати в цьому: введіть тут опис зображення

— leerssej
джерело
5

Спираючись на відповідь алкоголю, яка майже спрацювала для мене, за винятком етапу фільтрації (де я отримую ValueError: cannot reindex from a duplicate axis:), ось остаточне рішення, яке я використав:

# join the dataframes
united_data = pd.concat([data1, data2, data3, ...])
# group the data by the whole row to find duplicates
united_data_grouped = united_data.groupby(list(united_data.columns))
# detect the row indices of unique rows
uniq_data_idx = [x[0] for x in united_data_grouped.indices.values() if len(x) == 1]
# extract those unique values
uniq_data = united_data.iloc[uniq_data_idx]
— fnl
джерело
Гарне доповнення до відповіді. Дякую
— Ерік Д. Браун
1
Я отримую помилку ' IndexError: index out of bounds', коли я намагаюся запустити третій рядок.
— Moondra
5 
# THIS WORK FOR ME

# Get all diferent values
df3 = pd.merge(df1, df2, how='outer', indicator='Exist')
df3 = df3.loc[df3['Exist'] != 'both']


# If you like to filter by a common ID
df3  = pd.merge(df1, df2, on="Fruit", how='outer', indicator='Exist')
df3  = df3.loc[df3['Exist'] != 'both']
— Іван Моран
джерело
це найкраща відповідь
— мошеві
3

Існує більш просте рішення, яке є швидшим і кращим, і якщо цифри різні, це може навіть дати вам різницю в кількостях:

df1_i = df1.set_index(['Date','Fruit','Color'])
df2_i = df2.set_index(['Date','Fruit','Color'])
df_diff = df1_i.join(df2_i,how='outer',rsuffix='_').fillna(0)
df_diff = (df_diff['Num'] - df_diff['Num_'])

Тут df_diff - це конспект відмінностей. Ви навіть можете використовувати його для виявлення відмінностей у кількостях. У вашому прикладі:

введіть тут опис зображення

Пояснення: Подібно до порівняння двох списків, щоб зробити це ефективно, спочатку слід замовити їх, а потім порівняти (перетворення списку в набори / хешування також було б швидким; обидва є неймовірним покращенням простого циклу подвійного порівняння O (N ^ 2)

Примітка: наступний код створює таблиці:

df1=pd.DataFrame({
    'Date':['2013-11-24','2013-11-24','2013-11-24','2013-11-24'],
    'Fruit':['Banana','Orange','Apple','Celery'],
    'Num':[22.1,8.6,7.6,10.2],
    'Color':['Yellow','Orange','Green','Green'],
})
df2=pd.DataFrame({
    'Date':['2013-11-24','2013-11-24','2013-11-24','2013-11-24','2013-11-25','2013-11-25'],
    'Fruit':['Banana','Orange','Apple','Celery','Apple','Orange'],
    'Num':[22.1,8.6,7.6,10.2,22.1,8.6],
    'Color':['Yellow','Orange','Green','Green','Red','Orange'],
})
— ntg
джерело
3

Засновник тут простого рішення:

https://stackoverflow.com/a/47132808/9656339

pd.concat([df1, df2]).loc[df1.index.symmetric_difference(df2.index)]

— Tom2shoes
джерело
1
Ласкаво просимо до Stack Overflow Tom2shoes. Будь ласка, не вказуйте відповіді лише на посилання, спробуйте витягти вміст із посилання та залишити його лише як посилання (оскільки вміст у посиланні може бути видалений або саме посилання може порватися). Для отримання додаткової інформації зверніться до розділу "Як написати хорошу відповідь?" . Якщо ви вважаєте, що на це питання вже було дано відповідь в іншому питанні, позначте його як дублікат.
— GGG
2 
# given
df1=pd.DataFrame({'Date':['2013-11-24','2013-11-24','2013-11-24','2013-11-24'],
    'Fruit':['Banana','Orange','Apple','Celery'],
    'Num':[22.1,8.6,7.6,10.2],
    'Color':['Yellow','Orange','Green','Green']})
df2=pd.DataFrame({'Date':['2013-11-24','2013-11-24','2013-11-24','2013-11-24','2013-11-25','2013-11-25'],
    'Fruit':['Banana','Orange','Apple','Celery','Apple','Orange'],
    'Num':[22.1,8.6,7.6,1000,22.1,8.6],
    'Color':['Yellow','Orange','Green','Green','Red','Orange']})

# find which rows are in df2 that aren't in df1 by Date and Fruit
df_2notin1 = df2[~(df2['Date'].isin(df1['Date']) & df2['Fruit'].isin(df1['Fruit']) )].dropna().reset_index(drop=True)

# output
print('df_2notin1\n', df_2notin1)
#      Color        Date   Fruit   Num
# 0     Red  2013-11-25   Apple  22.1
# 1  Orange  2013-11-25  Orange   8.6
— SpeedCoder5
джерело
1

Я отримав це рішення. Вам це допомагає?

text = """df1:
2013-11-24 Banana 22.1 Yellow
2013-11-24 Orange 8.6 Orange
2013-11-24 Apple 7.6 Green
2013-11-24 Celery 10.2 Green

df2:
2013-11-24 Banana 22.1 Yellow
2013-11-24 Orange 8.6 Orange
2013-11-24 Apple 7.6 Green
2013-11-24 Celery 10.2 Green
2013-11-25 Apple 22.1 Red
2013-11-25 Orange 8.6 Orange



argetz45
2013-11-24 Banana 22.1 Yellow
2013-11-24 Orange 118.6 Orange
2013-11-24 Apple 74.6 Green
2013-11-24 Celery 10.2 Green
2013-11-25     Nuts    45.8 Brown
2013-11-25 Apple 22.1 Red
2013-11-25 Orange 8.6 Orange
2013-11-26   Pear 102.54    Pale"""

.

from collections import OrderedDict
import re

r = re.compile('([a-zA-Z\d]+).*\n'
               '(20\d\d-[01]\d-[0123]\d.+\n?'
               '(.+\n?)*)'
               '(?=[ \n]*\Z'
                  '|'
                  '\n+[a-zA-Z\d]+.*\n'
                  '20\d\d-[01]\d-[0123]\d)')

r2 = re.compile('((20\d\d-[01]\d-[0123]\d) +([^\d.]+)(?<! )[^\n]+)')

d = OrderedDict()
bef = []

for m in r.finditer(text):
    li = []
    for x in r2.findall(m.group(2)):
        if not any(x[1:3]==elbef for elbef in bef):
            bef.append(x[1:3])
            li.append(x[0])
    d[m.group(1)] = li


for name,lu in d.iteritems():
    print '%s\n%s\n' % (name,'\n'.join(lu))

результат

df1
2013-11-24 Banana 22.1 Yellow
2013-11-24 Orange 8.6 Orange
2013-11-24 Apple 7.6 Green
2013-11-24 Celery 10.2 Green

df2
2013-11-25 Apple 22.1 Red
2013-11-25 Orange 8.6 Orange

argetz45
2013-11-25     Nuts    45.8 Brown
2013-11-26   Pear 102.54    Pale
— очей
джерело
Дякую за допомогу. Я побачив відповідь @alko, і цей код працював добре.
— Eric D. Brown
1

Оскільки pandas >= 1.1.0ми маємо DataFrame.compareі Series.compare.

Примітка: метод може порівнювати лише однаково позначені об'єкти DataFrame, це означає DataFrames з однаковими мітками рядків і стовпців.

df1 = pd.DataFrame({'A': [1, 2, 3],
                    'B': [4, 5, 6],
                    'C': [7, np.NaN, 9]})

df2 = pd.DataFrame({'A': [1, 99, 3],
                    'B': [4, 5, 81],
                    'C': [7, 8, 9]})

   A  B    C
0  1  4  7.0
1  2  5  NaN
2  3  6  9.0 

    A   B  C
0   1   4  7
1  99   5  8
2   3  81  9

df1.compare(df2)

     A          B          C      
  self other self other self other
1  2.0  99.0  NaN   NaN  NaN   8.0
2  NaN   NaN  6.0  81.0  NaN   NaN
— Ерфан
джерело
Дякую за цю інформацію. Я ще не перейшов на 1.1, але це добре знати.
— Ерік Д. Браун,
0

Однією з важливих деталей, яку слід помітити, є те, що ваші дані мають повторювані значення індексу , тому для прямого порівняння нам потрібно перетворити все як унікальне, df.reset_index()і тому ми можемо виконувати вибір на основі умов. Одного разу у вашому випадку індекс визначений, я припускаю, що ви хотіли б зберегти de index, щоб було однорядкове рішення:

[~df2.reset_index().isin(df1.reset_index())].dropna().set_index('Date')

Як тільки метою з пітонічної точки зору є поліпшення читабельності, ми можемо трохи зламати:

# keep the index name, if it does not have a name it uses the default name
index_name = df.index.name if df.index.name else 'index' 

# setting the index to become unique
df1 = df1.reset_index()
df2 = df2.reset_index()

# getting the differences to a Dataframe
df_diff = df2[~df2.isin(df1)].dropna().set_index(index_name)
— гандреоти
джерело
0

Сподіваюся, це буде вам корисно. ^ о ^

df1 = pd.DataFrame({'date': ['0207', '0207'], 'col1': [1, 2]})
df2 = pd.DataFrame({'date': ['0207', '0207', '0208', '0208'], 'col1': [1, 2, 3, 4]})
print(f"df1(Before):\n{df1}\ndf2:\n{df2}")
"""
df1(Before):
   date  col1
0  0207     1
1  0207     2

df2:
   date  col1
0  0207     1
1  0207     2
2  0208     3
3  0208     4
"""

old_set = set(df1.index.values)
new_set = set(df2.index.values)
new_data_index = new_set - old_set
new_data_list = []
for idx in new_data_index:
    new_data_list.append(df2.loc[idx])

if len(new_data_list) > 0:
    df1 = df1.append(new_data_list)
print(f"df1(After):\n{df1}")
"""
df1(After):
   date  col1
0  0207     1
1  0207     2
2  0208     3
3  0208     4
"""
— Карсон
джерело
0

Я спробував цей метод, і він спрацював. Сподіваюся, це теж може допомогти:

"""Identify differences between two pandas DataFrames"""
df1.sort_index(inplace=True)
df2.sort_index(inplace=True)
df_all = pd.concat([df1, df12], axis='columns', keys=['First', 'Second'])
df_final = df_all.swaplevel(axis='columns')[df1.columns[1:]]
df_final[df_final['change this to one of the columns'] != df_final['change this to one of the columns']]
— налагодження XD
джерело
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.