Як я можу використовувати itertools.groupby ()?

Мені не вдалося знайти зрозумілого пояснення того, як насправді використовувати itertools.groupby()функцію Python . Я намагаюся зробити це:

• Візьміть список - у цьому випадку діти об’єктивованого lxmlелемента
• Розділіть його на групи за деякими критеріями
• Потім пізніше перегляньте кожну з цих груп окремо.

Я переглянув документацію та приклади , але у мене виникли проблеми, намагаючись застосувати їх поза простим списком чисел.

Отже, як мені користуватися itertools.groupby()? Чи є інша техніка, якою я повинен користуватися? Також будуть вдячні вказівки на гарне "обов'язкове" читання.

ВАЖЛИВА ПРИМІТКА . Спершу потрібно сортувати свої дані .

Частина, яку я не отримав, полягає в тому, що в прикладі будівництва

groups = []
uniquekeys = []
for k, g in groupby(data, keyfunc):
   groups.append(list(g))    # Store group iterator as a list
   uniquekeys.append(k)

kє поточним ключем групування і gє ітератором, який ви можете використовувати для перебору групи, визначеної цим ключем групування. Іншими словами, groupbyітератор сам повертає ітератори.

Ось приклад цього, використовуючи чіткіші назви змінних:

from itertools import groupby

things = [("animal", "bear"), ("animal", "duck"), ("plant", "cactus"), ("vehicle", "speed boat"), ("vehicle", "school bus")]

for key, group in groupby(things, lambda x: x[0]):
    for thing in group:
        print "A %s is a %s." % (thing[1], key)
    print " "

Це дасть вам вихід:

Ведмідь - тварина.
Качка - тварина.

Кактус - рослина.

Швидкісний човен - транспортний засіб.
Шкільний автобус - транспортний засіб.

У цьому прикладі thingsнаведено список кортежів, де перший елемент у кожному кортежі - це група, до якої належить другий елемент.

groupby()Функція приймає два аргументи: (1) дані для групи і (2) функцію до групи його с.

Тут lambda x: x[0]вказано groupby()використовувати перший елемент у кожному кортежі в якості ключа групування.

У наведеному вище forтвердженні groupbyповертає три (ключ, ітератор групи) - один раз для кожного унікального ключа. Ви можете використовувати повернутий ітератор для повторення кожного окремого елемента в цій групі.

Ось дещо інший приклад із тими ж даними з використанням розуміння списку:

for key, group in groupby(things, lambda x: x[0]):
    listOfThings = " and ".join([thing[1] for thing in group])
    print key + "s:  " + listOfThings + "."

Це дасть вам вихід:

тварини: ведмідь і качка.
рослини: кактус.
транспортні засоби: швидкісний човен та шкільний автобус.

Приклад в документах Python досить простий:

groups = []
uniquekeys = []
for k, g in groupby(data, keyfunc):
    groups.append(list(g))      # Store group iterator as a list
    uniquekeys.append(k)

Тож у вашому випадку дані - це перелік вузлів, keyfuncде йде логіка функції ваших критеріїв, а потім groupby()групуються дані.

Ви повинні бути обережними, щоб сортувати дані за критеріями, перш ніж дзвонити, groupbyабо вони не спрацюють. groupbyметод насправді просто повторює список і кожного разу, коли ключ змінюється, він створює нову групу.

itertools.groupby є інструментом групування предметів.

З документів ми детальніше оглядаємо, що це може зробити:

# [k for k, g in groupby('AAAABBBCCDAABBB')] --> A B C D A B

# [list(g) for k, g in groupby('AAAABBBCCD')] --> AAAA BBB CC D

groupby об'єкти дають пари ключових груп, де група є генератором.

Особливості

• A. Згрупуйте послідовно пункти разом
• B. Згрупуйте всі події предмета за поданим відсортованим ітерабельним
• C. Вкажіть, як групувати елементи з ключовою функцією ^*

Порівняння

# Define a printer for comparing outputs
>>> def print_groupby(iterable, keyfunc=None):
...    for k, g in it.groupby(iterable, keyfunc):
...        print("key: '{}'--> group: {}".format(k, list(g)))

# Feature A: group consecutive occurrences
>>> print_groupby("BCAACACAADBBB")
key: 'B'--> group: ['B']
key: 'C'--> group: ['C']
key: 'A'--> group: ['A', 'A']
key: 'C'--> group: ['C']
key: 'A'--> group: ['A']
key: 'C'--> group: ['C']
key: 'A'--> group: ['A', 'A']
key: 'D'--> group: ['D']
key: 'B'--> group: ['B', 'B', 'B']

# Feature B: group all occurrences
>>> print_groupby(sorted("BCAACACAADBBB"))
key: 'A'--> group: ['A', 'A', 'A', 'A', 'A']
key: 'B'--> group: ['B', 'B', 'B', 'B']
key: 'C'--> group: ['C', 'C', 'C']
key: 'D'--> group: ['D']

# Feature C: group by a key function
>>> # keyfunc = lambda s: s.islower()                      # equivalent
>>> def keyfunc(s):
...     """Return a True if a string is lowercase, else False."""   
...     return s.islower()
>>> print_groupby(sorted("bCAaCacAADBbB"), keyfunc)
key: 'False'--> group: ['A', 'A', 'A', 'B', 'B', 'C', 'C', 'D']
key: 'True'--> group: ['a', 'a', 'b', 'b', 'c']

Використання

• Анаграми ( див. Зошит )
• Бінінг
• Згрупуйте непарні і парні числа
• Згрупуйте список за значеннями
• Видаліть повторювані елементи
• Знайдіть індекси повторюваних елементів у масиві
• Розділіть масив на n-розміри
• Знайдіть відповідні елементи між двома списками
• Алгоритм стиснення ( див. Зошит ) / Кодування довжини запуску
• Групування літер за довжиною, ключовою функцією ( див. Зошит )
• Послідовні значення над порогом ( див. Зошит )
• Знайдіть діапазони чисел у списку або суцільних елементів (див. Документи )
• Знайти всі пов'язані найдовші послідовності
• Візьміть послідовні послідовності, які відповідають умові ( див. Пов’язаний пост )

Примітка: Кілька останніх прикладів походять з PyCon (розмова) (іспанська) Віктора Террона , "Кунг-фу на світанку з Itertools". Дивіться також groupbyвихідний код, написаний на С.

^{* Функція, при якій всі елементи передаються та порівнюються, впливаючи на результат. Інші об'єкти з основними функціями включають в себе sorted(), max()і min().}

Відповідь

# OP: Yes, you can use `groupby`, e.g. 
[do_something(list(g)) for _, g in groupby(lxml_elements, criteria_func)]

Неточний трюк з groupby - запустити кодування довжини в одному рядку:

[(c,len(list(cgen))) for c,cgen in groupby(some_string)]

дасть вам список з 2-х кортежів, де перший елемент є знаком, а другий - кількістю повторень.

Редагувати: Зауважте, що це те, що відокремлюється itertools.groupbyвід GROUP BYсемантики SQL : itertools не заздалегідь сортує ітератор, тому групи з тим самим "ключем" не об'єднуються.

Ще один приклад:

for key, igroup in itertools.groupby(xrange(12), lambda x: x // 5):
    print key, list(igroup)

призводить до

0 [0, 1, 2, 3, 4]
1 [5, 6, 7, 8, 9]
2 [10, 11]

Зверніть увагу, що igroup - це ітератор (субітератор, як називає його документація).

Це корисно для налаштування генератора:

def chunker(items, chunk_size):
    '''Group items in chunks of chunk_size'''
    for _key, group in itertools.groupby(enumerate(items), lambda x: x[0] // chunk_size):
        yield (g[1] for g in group)

with open('file.txt') as fobj:
    for chunk in chunker(fobj):
        process(chunk)

Ще один приклад groupby - коли ключі не сортуються. У наступному прикладі елементи в xx групуються за значеннями у yy. У цьому випадку спочатку виводиться один набір нулів, а потім набір одиниць, а потім знову набір нулів.

xx = range(10)
yy = [0, 0, 0, 1, 1, 1, 0, 0, 0, 0]
for group in itertools.groupby(iter(xx), lambda x: yy[x]):
    print group[0], list(group[1])

Виробляє:

0 [0, 1, 2]
1 [3, 4, 5]
0 [6, 7, 8, 9]

УВАГА:

Список синтаксису (groupby (...)) не працюватиме так, як ви плануєте. Здається, руйнує внутрішні об’єкти ітератора, тому використовуючи

for x in list(groupby(range(10))):
    print(list(x[1]))

буде виробляти:

[]
[]
[]
[]
[]
[]
[]
[]
[]
[9]

Замість списку (groupby (...)) спробуйте [(k, list (g)) для k, g у groupby (...)], або якщо ви часто використовуєте цей синтаксис,

def groupbylist(*args, **kwargs):
    return [(k, list(g)) for k, g in groupby(*args, **kwargs)]

і отримати доступ до функціональних можливостей groupby, уникаючи цих прискіпливих (для невеликих даних) ітераторів разом.

Я хотів би навести ще один приклад, коли groupby без сортування не працює. Адаптовано з прикладу Джеймса Сулака

from itertools import groupby

things = [("vehicle", "bear"), ("animal", "duck"), ("animal", "cactus"), ("vehicle", "speed boat"), ("vehicle", "school bus")]

for key, group in groupby(things, lambda x: x[0]):
    for thing in group:
        print "A %s is a %s." % (thing[1], key)
    print " "

вихід є

A bear is a vehicle.

A duck is a animal.
A cactus is a animal.

A speed boat is a vehicle.
A school bus is a vehicle.

Є дві групи з автомобілем, тоді як можна очікувати лише однієї групи

@CaptSolo, я спробував твій приклад, але це не вийшло.

from itertools import groupby 
[(c,len(list(cs))) for c,cs in groupby('Pedro Manoel')]

Вихід:

[('P', 1), ('e', 1), ('d', 1), ('r', 1), ('o', 1), (' ', 1), ('M', 1), ('a', 1), ('n', 1), ('o', 1), ('e', 1), ('l', 1)]

Як бачимо, є два o та два e, але вони потрапили в окремі групи. Тоді я зрозумів, що потрібно сортувати список, переданий до функції groupby. Отже, правильним використанням було б:

name = list('Pedro Manoel')
name.sort()
[(c,len(list(cs))) for c,cs in groupby(name)]

Вихід:

[(' ', 1), ('M', 1), ('P', 1), ('a', 1), ('d', 1), ('e', 2), ('l', 1), ('n', 1), ('o', 2), ('r', 1)]

Пам'ятайте лише, що якщо список не відсортований, функція groupby не працюватиме !

Сортування та групування

from itertools import groupby

val = [{'name': 'satyajit', 'address': 'btm', 'pin': 560076}, 
       {'name': 'Mukul', 'address': 'Silk board', 'pin': 560078},
       {'name': 'Preetam', 'address': 'btm', 'pin': 560076}]


for pin, list_data in groupby(sorted(val, key=lambda k: k['pin']),lambda x: x['pin']):
...     print pin
...     for rec in list_data:
...             print rec
... 
o/p:

560076
{'name': 'satyajit', 'pin': 560076, 'address': 'btm'}
{'name': 'Preetam', 'pin': 560076, 'address': 'btm'}
560078
{'name': 'Mukul', 'pin': 560078, 'address': 'Silk board'}

Як я можу використовувати itertools.groupby () Python ()?

Ви можете використовувати groupby, щоб групувати речі, щоб повторити. Ви надаєте групі ітерабельний і необов'язковий функціональний ключ / дзвінок, за допомогою якого можна перевіряти елементи, коли вони виходять із програми перегляду, і він повертає ітератор, який дає подвійний результат результату виклику ключа та фактичних елементів у ще один ітерабельний. З довідки:

groupby(iterable[, keyfunc]) -> create an iterator which returns
(key, sub-iterator) grouped by each value of key(value).

Ось приклад групи за допомогою підпрограми для згрупування за рахунком; він використовує ключ, який може викликатись (у цьому випадку coroutine.send), щоб просто виплюнути підрахунок за скільки завгодно ітерацій та згрупований підітератор елементів:

import itertools


def grouper(iterable, n):
    def coroutine(n):
        yield # queue up coroutine
        for i in itertools.count():
            for j in range(n):
                yield i
    groups = coroutine(n)
    next(groups) # queue up coroutine

    for c, objs in itertools.groupby(iterable, groups.send):
        yield c, list(objs)
    # or instead of materializing a list of objs, just:
    # return itertools.groupby(iterable, groups.send)

list(grouper(range(10), 3))

відбитки

[(0, [0, 1, 2]), (1, [3, 4, 5]), (2, [6, 7, 8]), (3, [9])]

Один корисний приклад, який я натрапив, може бути корисним:

from itertools import groupby

#user input

myinput = input()

#creating empty list to store output

myoutput = []

for k,g in groupby(myinput):

    myoutput.append((len(list(g)),int(k)))

print(*myoutput)

Зразок введення: 14445221

Вихід вибірки: (1,1) (3,4) (1,5) (2,2) (1,1)

Ця основна реалізація допомогла мені зрозуміти цю функцію. Сподіваюся, що це допомагає і іншим:

arr = [(1, "A"), (1, "B"), (1, "C"), (2, "D"), (2, "E"), (3, "F")]

for k,g in groupby(arr, lambda x: x[0]):
    print("--", k, "--")
    for tup in g:
        print(tup[1])  # tup[0] == k

-- 1 --
A
B
C
-- 2 --
D
E
-- 3 --
F

Ви можете написати власну групову функцію:

           def groupby(data):
                kv = {}
                for k,v in data:
                    if k not in kv:
                         kv[k]=[v]
                    else:
                        kv[k].append(v)
           return kv

     Run on ipython:
       In [10]: data = [('a', 1), ('b',2),('a',2)]

        In [11]: groupby(data)
        Out[11]: {'a': [1, 2], 'b': [2]}