Чиста, легка альтернатива крученому Python? [зачинено]

Нещодавно я писав веб-павук, який багатопотоково читав, щоб одночасно виникати одночасні запити. Це було в моїй Python-молодості, за дні, перш ніж я знав про GIL і пов'язані з цим неприємності для багатопотокового коду (IE, більшість часу речі просто закінчуються серіалізованими!) ...

Я хотів би переробити цей код, щоб зробити його надійнішим та кращим. В основному я можу це зробити: я міг би використовувати новий модуль багатопроцесорної обробки в 2.6+ або міг би розібратися в реальній / подійній моделі на зразок якогось типу. Я вважаю за краще зробити пізніше, оскільки це набагато простіше і менш схильне до помилок.

Тож питання стосується того, яка рамка найкраще відповідає моїм потребам. Далі наведено список варіантів, про які я знаю дотепер:

• Скручений : дідусь із реакторних каркасів Python: здається складним і трохи роздутим. Крута крива навчання для невеликого завдання.
• Eventlet : Від хлопців з lindenlab . Рамка на базі Greenlet, орієнтована на подібні завдання. Я хоч подивився на код, і він не надто гарний: несумісний з pep8, розсипаний відбитками (чому люди роблять це в рамках !?), API здається трохи непослідовним.
• PyEv : Незрілий , здається, ніхто зараз не використовує його, хоча він заснований на libevent, тому він має надійний підхід.
• asyncore : З stdlib: über низького рівня, схоже, що багато ніжних робіт, пов'язаних просто для того, щоб щось зірвати з землі.
• tornado : Хоча це серверно-орієнтований продукт, призначений для серверних динамічних веб-сайтів, він оснащений клієнтом async HTTP та простим ioloop . Схоже, це може виконати роботу, але не те, що було призначено. [редагувати: на жаль, не працює в Windows, що для мене це рахує - це для мене вимога підтримувати цю кульгаву платформу]

Чи є щось, що я взагалі пропустив? Звичайно, там повинна бути бібліотека, яка відповідає місцем спрощеної асинхронної мережевої бібліотеки!

[редагувати: велике спасибі intgr за його вказівник на цю сторінку . Якщо прокрутити донизу, ви побачите, що існує справді приємний перелік проектів, які мають на меті вирішити це завдання так чи інакше. Насправді здається, що справи справді просунулися з моменту створення Twisted: зараз, здається, люди віддають перевагу спільному рутинному рішенню, а не традиційному, орієнтованому на реактор / зворотний виклик. Переваги такого підходу ясніше, пряміший код: я, звичайно, виявив минуле, особливо при роботі з boost.asioв C ++ цей код на основі зворотного виклику може призвести до складних конструкцій та відносно незрозумілих для нетренованого ока. Використання спільних процедур дозволяє писати код, який виглядає принаймні трохи синхронніше. Я думаю, зараз моє завдання - розібратися, яка з цих багатьох бібліотек мені подобається зовнішній вигляд, і дати їй піти! Радий, що я запитав зараз ...]

[редагувати: можливо, цікавить усіх, хто стежив за цим питанням або натрапляв на це питання чи хвилює цю тему в будь-якому сенсі: я знайшов справді чудовий опис поточного стану доступних інструментів для цієї роботи]

Мені сподобався паралельний модуль Python, який покладається на мікросхеми Stackless Python або Greenlets для легкої нанизування різьби. Весь блокувальний мережевий ввод-вивід прозоро робиться асинхронним через один libeventцикл, тому він повинен бути майже таким же ефективним, як і реальний асинхронний сервер.

Я гадаю, що подібний до Eventlet таким чином.

Мінус у тому, що його API сильно відрізняється від модулів sockets/ threadingмодулів Python ; вам потрібно переписати неабияку частину своєї програми (або написати прошивний шар сумісності)

Редагувати: Здається, є також коген , який схожий, але він використовує розширені генератори Python 2.5 для своїх процедур замість Greenlets. Це робить його більш портативним, ніж узгодження та інші альтернативи. Мережевий введення / виведення здійснюється безпосередньо за допомогою epoll / kqueue / iocp.

Скручений складний, ви маєте рацію з цим. Скручений не роздутий.

Якщо ви подивитесь тут: http://twistedmatrix.com/trac/browser/trunk/twisted, ви знайдете організований, всебічний і дуже добре перевірений набір багатьох протоколів Інтернету, а також допоміжний код для написання і розгорнути дуже складні мережеві програми. Я б не плутав набряк із всебічністю.

Добре відомо, що документація Twisted не є найзручнішою з першого погляду, і я вважаю, що це відвертає нещасну кількість людей. Але Twisted є дивовижним (IMHO), якщо поставити час. Я це зробив, і це виявилося вартим, і я рекомендував би іншим спробувати те саме.

GEvent є eventlet очищення .

Для API це дотримується тих самих умов, що і стандартна бібліотека (зокрема, модулі для обробки різьби та багатопроцесорної обробки), де це має сенс. Отже, у вас є знайомі речі, такі як черга та подія потрібно працювати.

Він підтримує лише libevent ( оновлення: libev з 1.0 ) як реакторну реалізацію, але повністю використовує його, демонструючи швидкий сервер WSGI на основі libevent-http та вирішення запитів DNS через libevent-dns на відміну від використання пулу потоків, як і більшість інших бібліотек робити. ( оновлення: оскільки 1.0 c-are використовуються для асинхронізації DNS-запитів; потоковий пул також є варіантом.)

Як і eventlet, він робить непотрібними зворотні дзвінки та відстрочки, використовуючи greenlets .

Ознайомтеся з прикладами: одночасне завантаження декількох URL-адрес , довге веб-чат опитування .

По-справжньому цікаве порівняння таких рамок склав Ніколас Піль у своєму блозі: це варто прочитати!

Жодне з цих рішень не уникне того факту, що GIL запобігає паралелізму процесора - вони просто кращі способи отримати паралелізм IO, який у вас вже є з потоками. Якщо ви думаєте, що ви можете зробити кращий IO, будь-якими способами переслідуйте один із них, але якщо ваше вузьке місце знаходиться в обробці результатів, тут нічого не допоможе, крім багатопроцесорного модуля.

Я б не пішов так, щоб назвати Скрученого роздутого, але важко обмотати голову. Я уникав справді влаштовуватися на навчання протягом досить довгого часу, тому що завжди хотів чогось легшого для «невеликих завдань».

Однак тепер, коли я працював з цим ще деяким, я повинен сказати, що всі батареї включені - ДУЖЕ приємно.

Усі інші бібліотеки асинхронізації, з якими я працював, закінчилися набагато менш зрілими, ніж вони навіть здаються. Петля подій Twisted є суцільною.

Я не зовсім впевнений, як вирішити круту криву навчання. Це може допомогти, якщо хтось розкачає його та очистить декілька речей, як-от видалити всі суворі суміші та мертві проекти. Але я думаю, що це природа зрілого програмного забезпечення.

Камалія поки не згадується. Його модель одночасності базується на з'єднанні компонентів з повідомленнями, що проходять між вхідними та вихідними. Ось короткий огляд.

Я почав використовувати скручені для деяких речей. Краса його майже в тому, що вона "роздута". Є з'єднувачі майже для будь-якого з основних протоколів. Ви можете мати бот-jabber, який буде приймати команди та публікувати на irc-сервері, надсилати їх електронною поштою комусь, виконувати команду, читати з сервера NNTP та стежити за веб-сторінкою щодо змін. Погана новина полягає в тому, що вона може зробити все це і може зробити речі надто складними для простих завдань, як це пояснила ОП. Перевагою python є те, що ви включаєте лише те, що вам потрібно. Тож завантаження може становити 20 Мб, але ви можете включати лише 2 МБ бібліотек (що ще багато). Моя найбільша скарга зі скрученими, хоча вони включають приклади, що завгодно, ніж базовий сервер tcp, який ви маєте самостійно.

Хоча це не рішення python, я бачив, що node.js значно пізніше отримує тягу. Насправді я розглядав питання щодо більш дрібних проектів, але я просто притискаюся, коли чую JavaScript :)

Є гарна книга з цього приводу: "Основи програмованого мережевого програмування", автор Abe Fettig. На прикладах показано, як писати дуже пітонічний код, і особисто мені не вражайте мене, як на основі роздутого фрейму. Подивіться на рішення в книзі, якщо вони не чисті, то я не знаю, що означає чистота.

Моя єдина загадка - це те саме, що я маю з іншими рамками, на кшталт Рубі. Я хвилююся, чи збільшується вона? Мені б не хотілося залучати клієнта до структури, яка матиме проблеми зі масштабуванням.

Whizzer - це крихітний асинхронний каркас сокета, який використовує pyev. Це дуже швидко, в першу чергу через пієв. Він намагається надати подібний інтерфейс у вигляді суттєвих змін.

Спробуйте також Syncless . Він заснований на кореневій програмі (тому він схожий на Concurrence, Eventlet та gevent). Він реалізує незамінні блокуючі заміни для socket.socket, socket.gethostbyname (тощо), ssl.SSLSocket, time.sleep та select.select. Це швидко. Він потребує безстатевого пітона та звільненого. Він містить обов'язкове розширення Python, написане на C (Pyrex / Cython).

Я підтверджую доброту безсинхронності . Він може використовувати libev (більш нову, чистішу та кращу ефективність версії libevent). Деякий раз тому він не має такої підтримки, як libevent, але зараз процес розробки проходить далі і дуже корисний.

Якщо ви просто хочете спрощену, легку бібліотеку запитів HTTP, я вважаю Unirest справді гарним

Ви можете ознайомитись із PyWorks, який вимагає зовсім іншого підходу. Це дозволяє екземплярам об'єктів запускатись у власній потоці та робить виклик функції асинхронізації цього об'єкта.

Просто нехай клас успадковує від Task замість об'єкта, і це асинхронізація, усі виклики методів - це проксі. Повернені значення (якщо вони вам потрібні) - це майбутні проксі.

res = obj.method( args )
# code continues here without waiting for method to finish
do_something_else( )
print "Result = %d" % res # Code will block here, if res not calculated yet

PyWorks можна знайти на http://bitbucket.org/raindog/pyworks