Як встановлюється () реалізується?

Я бачив, як люди кажуть, що setоб’єкти в python мають перевірку членства O (1). Як вони реалізуються всередині, щоб дозволити це? Яку структуру даних він використовує? Які ще наслідки має ця реалізація?

Кожна відповідь тут була справді освічуючою, але я можу прийняти лише одну, тому я піду з найближчою відповіддю на своє первісне запитання. Дякую всім за інформацію!

Відповідно до цієї теми :

Дійсно, набори CPython реалізуються як щось на зразок словників із фіктивними значеннями (ключі є членами набору), з деякою оптимізацією, яка використовує цю відсутність значень

Отже, в основному a setвикористовує хештел як основу структури даних. Це пояснює перевірку членства O (1), оскільки пошук елемента в хеш-таблиці є в середньому операцією O (1).

Якщо ви настільки схильні, ви можете навіть переглянути вихідний код CPython для набору, який, на думку Ахіма Домми , є здебільшого скороченням та вставкою з dictреалізації.

Коли люди кажуть, що набори мають перевірку членства O (1), вони говорять про середній випадок. У гіршому випадку (коли всі стихійні значення стикаються) перевірка членства - це O (n). Дивіться вікі на Python про складність у часі .

У статті Вікіпедії сказано, що найкраща часова складність для хеш-таблиці, яка не змінює розмір, - це O(1 + k/n). Цей результат не застосовується безпосередньо до наборів Python, оскільки в наборах Python використовується хеш-таблиця з розміром.

Трохи далі у статті Вікіпедії йдеться про те, що для середнього випадку та припускаючи просту функцію однорідного хешуваннявання, складність у часі полягає в тому O(1/(1-k/n)), де k/nможна обмежити константу c<1.

Big-O відноситься лише до асимптотичної поведінки як n → ∞. Оскільки k / n може бути обмежена постійною, c <1, незалежно від n ,

O(1/(1-k/n))не більше, ніж O(1/(1-c))еквівалентно O(constant)= O(1).

Таким чином, якщо припустити, однакове просте хешуваннявання, в середньому перевірка членства для наборів Python є O(1).

Я думаю, що це звичайна помилка, setпошук (або хештел з цього приводу) не є O (1).
з Вікіпедії

У найпростішій моделі хеш-функція абсолютно не визначена, і таблиця не змінює розмір. Для найкращого вибору хеш-функції таблиця розміру n з відкритою адресацією не має зіткнень і містить до n елементів, з єдиним порівнянням для успішного пошуку, а таблиця розміру n з ланцюжком і клавішами k має мінімальний макс. (0, кн) зіткнень та O (1 + k / n) порівнянь для пошуку. Для найгіршого вибору хеш-функції кожна вставка спричиняє зіткнення, а хеш-таблиці вироджуються до лінійного пошуку з амортизованими порівняннями Ω (k) за вставку і до k порівнянь для успішного пошуку.

Пов’язане: Чи дійсно хешмак Java справді O (1)?

У всіх нас є легкий доступ до джерела , де в коментарі, що передує, set_lookkey()сказано:

/* set object implementation
 Written and maintained by Raymond D. Hettinger <python@rcn.com>
 Derived from Lib/sets.py and Objects/dictobject.c.
 The basic lookup function used by all operations.
 This is based on Algorithm D from Knuth Vol. 3, Sec. 6.4.
 The initial probe index is computed as hash mod the table size.
 Subsequent probe indices are computed as explained in Objects/dictobject.c.
 To improve cache locality, each probe inspects a series of consecutive
 nearby entries before moving on to probes elsewhere in memory.  This leaves
 us with a hybrid of linear probing and open addressing.  The linear probing
 reduces the cost of hash collisions because consecutive memory accesses
 tend to be much cheaper than scattered probes.  After LINEAR_PROBES steps,
 we then use open addressing with the upper bits from the hash value.  This
 helps break-up long chains of collisions.
 All arithmetic on hash should ignore overflow.
 Unlike the dictionary implementation, the lookkey function can return
 NULL if the rich comparison returns an error.
*/


...
#ifndef LINEAR_PROBES
#define LINEAR_PROBES 9
#endif

/* This must be >= 1 */
#define PERTURB_SHIFT 5

static setentry *
set_lookkey(PySetObject *so, PyObject *key, Py_hash_t hash)  
{
...

Щоб ще більше підкреслити різницю між set'sі dict's, ось уривок із setobject.cрозділів коментарів, в якому з’ясовується основна відмінність набору від диктів.

Корпуси випадків для наборів значно відрізняються від словників, де більш імовірні присутні клавіші пошуку. Навпаки, набори в основному стосуються тестування членства, коли наявність елемента заздалегідь невідома. Відповідно, реалізація набору потребує оптимізації як для знайденого, так і не знайденого випадку.

джерело на github