Запитання з тегом «mapreduce»

Я знаю, як "перетворити" просту Java Listз Y-> Z, тобто: List<String> x; List<Integer> y = x.stream() .map(s -> Integer.parseInt(s)) .collect(Collectors.toList()); Тепер я хотів би зробити те ж саме з картою, тобто: INPUT: { "key1" -> "41", // "41" and "42" "key2" -> "42 // are Strings } OUTPUT: { "key1" …

209 java  mapreduce  java-8  java-stream  collectors 

Наразі це запитання не підходить для нашого формату запитань. Ми очікуємо, що відповіді будуть підкріплені фактами, посиланнями або експертними знаннями, але це питання, ймовірно, вимагатиме дискусій, аргументів, опитувань чи розширеної дискусії. Якщо ви вважаєте, що це питання можна вдосконалити та, можливо, знову відкрити, відвідайте довідковий центр для ознайомлення . Закрито …

202 mapreduce 

Пов'язане з моїм запитанням CouchDB . Чи може хтось пояснити MapReduce в термінах, який чисел може зрозуміти?

166 frameworks  mapreduce  glossary 

Які сценарії можуть гарантувати використання алгоритму " Карта та зменшення "? Чи існує реалізація цього алгоритму .NET?

152 c#  mapreduce 

У багатьох ситуаціях із реального життя, коли ви застосовуєте MapReduce, остаточні алгоритми в кінцевому підсумку становлять кілька кроків MapReduce. тобто Map1, Reduce1, Map2, Reduce2 тощо. Таким чином, у вас є вихід з останнього зменшення, яке потрібне як вхід для наступної карти. Проміжні дані - це те, чого ви (загалом) не …

124 hadoop  mapreduce 

Відповідно до Hadoop - The Definitive Guide Логічні записи, які визначають FileInputFormats, зазвичай не вписуються акуратно в блоки HDFS. Наприклад, логічні записи TextInputFormat - це рядки, які частіше за все перетинають межі HDFS. Це не стосується функціонування вашої програми - наприклад, рядки не пропущені або порушені, але про це варто …

119 hadoop  split  mapreduce  block  hdfs 

У програмі Map Reduce скорочення фаза зменшення, сортування та зменшення є її підрозділами. Сортування - дорога справа. Яка мета переміщення та сортування фази редуктора в програмі зменшення карт?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

Одним з головних прикладів, який використовується при демонстрації сили MapReduce, є тестовий показник Terasort . У мене виникають проблеми з розумінням основ алгоритму сортування, що використовується в середовищі MapReduce. Для мене сортування просто включає визначення відносного положення елемента по відношенню до всіх інших елементів. Тож сортування передбачає порівняння "всього" з …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

Зачинено. Це питання не відповідає вказівкам щодо переповнення стека . Наразі відповіді не приймаються. Хочете покращити це питання? Оновіть питання, щоб воно було тематичним для переповнення стека. Закрито 4 роки тому . Удосконалюйте це питання Отже, я дивлюся на Hadoop з великим інтересом, і, чесно кажучи, я зачарований, все не …

98 c#  .net  hadoop  mapreduce 

Чи існують залежності між Spark та Hadoop ? Якщо ні, чи є якісь функції, які я втрачу, запустивши Spark без Hadoop ?

91 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

При використанні $inречення MongoDB , чи завжди порядок повернених документів відповідає порядку аргументу масиву?

87 mongodb  mongoose  mapreduce  mongodb-query  aggregation-framework 

У Hadoop v1 я призначив кожному 7 слотам картографа та редуктора розміром 1 ГБ, мої картографа та редуктори працюють нормально. Мій апарат має пам’ять 8G, 8 процесорів. Тепер з YARN, під час запуску того самого додатка на тій самій машині, я отримав помилку контейнера. За замовчуванням у мене є такі …

85 hadoop  mapreduce  yarn  mrv2 

Я багато чую про карту / зменшення, особливо в контексті масово паралельної обчислювальної системи Google. Що саме це?

84 language-agnostic  mapreduce 

Коли в Hadoop починаються завдання зменшення? Чи починаються вони після закінчення певного відсотка (порогового значення) картографів? Якщо так, чи встановлено цей поріг? Який поріг зазвичай використовується?

82 hadoop  mapreduce  reduce 

На даний момент у мене є робота Hadoop, яка створює лічильники з досить відомим ім’ям. Так , наприклад, наступний: stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits. Цей лічильник усічений у веб-інтерфейсі та під час getName()виклику методу. Я виявив, що Hadoop має обмеження на ім'я лічильника, і цей ідентифікатор налаштувань mapreduce.job.counters.counter.name.maxпризначений для налаштування цього обмеження. Тож я …

79 java  hadoop  mapreduce  yarn