Чи є структурою MapReduce тип BSP?

11

Чи правильно називати структуру mapReduce тип об'ємної синхронної рамки паралельного програмування без локального збереження пам'яті в процесорах між синхронізаціями? Якщо ні, то яка паралельна програма програмування найбільш точно інкапсулює карту mapReduce?

dc.parallel-comp machine-models

— Джефф Кубіна
джерело

1

це приємне запитання!

— Суреш Венкат

спасибі Суреш, як ти думаєш, згоден?

— Джефф Кубіна

важкий вибір щодо вибору найкращої відповіді, оскільки я думаю, що всі вони допомогли мені отримати більше знань про карту зменшення та те, як інші бачать це. Я вибрав відповідь Сашо, оскільки це привело мене до того, що найкраще моє запитання звертається до цієї статті. Дякую всім.

— Джефф Кубіна

11

У розділі 2 http://arxiv.org/abs/1101.1902 автори визначають модель MapReduce, яка навмисно структурована як BSP. Вони також доводять теореми моделювання. Може бути гарним місцем для початку.

— Сашо Ніколов
джерело

5

Так, на мою думку, класичний MapReduce є моделлю BSP (і тому має властиві обмеження щодо максимально можливої паралельної продуктивності, яку можна досягти). Однак, здається, новіша робота над MapReduce зосереджена на втрачених поняттях синхронізації, які виведуть цю «узагальнену MapReduce» із суворої рамки BSP. Зокрема, якщо копіювати деякі дані, то структуру синхронізації можна послабити, приносячи підвищення продуктивності.

Дивіться, наприклад , роботу по Фото Afrati і Джеффу Ульман: Оптимізація включається в карті-пакунку середовища , EDBT 2010 року ( препринт )

— Андраш Саламон
джерело

2

Оскільки у MapReduce є простий та структурований графік, що лежить в основі обчислення, це може бути IMHO класифіковано як модель потоку даних.

— Массімо Кафаро
джерело

Я погоджуюсь, MapReduce має таку саму стратегію обчислення, що і машина з тегами даних. Мова Pig Yahoo навіть будує мову потоку даних поверх MapReduce.

— Яловичина