Запитання з тегом «parallel»

У мене є програма моделювання та підрахунку балів, яка широко використовує DataFrame.isinфункцію панд, здійснюючи пошук по списках фейсбукових "схожих" записів окремих користувачів на кожну з кількох тисяч певних сторінок. Це найбільш трудомістка частина програми, більше, ніж моделювання чи забивання штук, просто тому, що вона працює лише на одному ядрі, а …

25 performance  python  pandas  parallel 

Яка різниця (і) між паралельними та розподіленими обчисленнями? Що стосується масштабованості та ефективності, то дуже часто бачити рішення, що стосуються обчислень, в кластерах машин, а іноді це називають паралельною обробкою або як розподіленою обробкою. Певним чином, обчислення, здається, завжди паралельні, оскільки існують речі, що працюють одночасно. Але чи розподілені обчислення …

15 definitions  parallel  distributed 

Працюючи над проектами, які часто можна назвати "середніми даними", я зміг паралелізувати свій код (в основному для моделювання та прогнозування в Python) на єдиній системі з будь-якого місця від 4 до 32 ядер. Тепер я дивлюся на масштабування кластерів на EC2 (можливо, StarCluster / IPython, але також відкритий для інших …

12 parallel  clusters  aws 

Зараз я беру статтю про Big Data, яка використовує R сильно для аналізу даних. У мене, здається, GTX1070 в моєму ПК з ігрових причин. Таким чином, я подумав, що це було б дуже здорово, якби я міг скористатися цим, щоб прискорити обробку деяких речей, які мені займаються мої викладачі, але …

11 r  gpu  parallel 

Я працюю над моделлю Seq2Seq, використовуючи LSTM від Keras (використовуючи фон Theano), і я хотів би паралелізувати процеси, тому що навіть на кілька МБ даних потрібно кілька годин для навчання. Зрозуміло, що GPU набагато кращі в паралелізації, ніж процесори. На даний момент у мене є лише процесори, з якими можна …

11 tensorflow  keras  theano  parallel