Запитання з тегом «hadoop»

Наразі я налаштовую hadoop на сервері, на якому працює CentO . Під час запуску start-dfs.shабо stop-dfs.shя отримую таку помилку: УВАГА util.NativeCodeLoader: Не вдається завантажити нативну бібліотеку hadoop для вашої платформи ... використовуючи вбудовані Java-класи, де це можливо Я працюю Hadoop 2.2.0. Здійснення пошуку в Інтернеті підняло це посилання: http://balanceandbreath.blogspot.ca/2013/01/utilnativecodeloader-unable-to-load.html Однак …

269 java  linux  hadoop  hadoop2  java.library.path 

Закрито . Це питання ґрунтується на думці . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб на нього можна було відповісти фактами та цитатами, відредагувавши цю публікацію . Закрито 4 роки тому . Удосконаліть це питання Моє передісторія - 4 тижні в світі Hadoop. Трохи попробовували у …

256 hadoop  hive  apache-pig 

Я намагаюся зрозуміти взаємозв'язок кількості ядер та кількості виконавців під час виконання завдання Spark на YARN. Тестове середовище таке: Кількість вузлів даних: 3 Технічні характеристики вузла даних: Процесор: Core i7-4790 (кількість ядер: 4, кількість потоків: 8) ОЗУ: 32 ГБ (8 ГБ х 4) Жорсткий диск: 8 ТБ (2 ТБ х …

194 hadoop  apache-spark  yarn 

Які переваги використання Hadoop або HBase або вулика ? Наскільки я розумію, HBase уникає використання зменшення карт і має схоже на стовпчик сховище поверх HDFS. Hive - це інтерфейс, схожий на sql, для Hadoop та HBase . Я також хотів би знати, як вулик порівнює зі Свині .

185 hadoop  hbase  hive  apache-pig 

Я встановив Spark за допомогою посібника AWS EC2, і я можу запустити програму за допомогою bin/pysparkсценарію, щоб дістатися до іскрового підказка, а також можу успішно виконати Швидкий старт. Однак я не можу за все життя зрозуміти, як зупинити весь багатослівний INFOжурнал після кожної команди. Я спробував майже кожен можливий сценарій …

144 python  scala  apache-spark  hadoop  pyspark 

Я хотів би прочитати CSV в іскрі і перетворити його у DataFrame і зберігати його в HDFS df.registerTempTable("table_name") Я намагався: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Помилка, яку я отримав: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, …

141 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

Характеристики паркету Apache: Самоописування Стовпчастий формат Незалежна від мови У порівнянні з Avro, послідовними файлами, RC-файлами тощо, я хочу переглянути формати. Я вже читав: як працює Impala з форматами файлів Hadoop , вона дає деяку інформацію про формати, але я хотів би знати, як здійснюється доступ до даних та зберігання …

136 file  hadoop  hdfs  avro  parquet 

Як скопіювати файл з HDFS в локальну файлову систему. Під файлом немає фізичного розташування, навіть у каталозі. Як я можу перенести їх у свій місцевий для подальшої валідації. Мене пробують через wincp.

135 hadoop  copy  hdfs 

Це наївне питання, але я новачок у парадигмі NoSQL і не знаю багато про це. Тож якщо хтось може допомогти мені чітко зрозуміти різницю між HBase та Hadoop або якщо дати кілька покажчиків, які можуть допомогти мені зрозуміти різницю. До цього часу я провів деякі дослідження і відповідно. Наскільки я …

130 hadoop  nosql  hbase  hdfs  difference 

Я знаю, що обидва виконуються на стовпчику в таблиці, але чим відрізняється кожна операція.

129 hadoop  hive 

У багатьох ситуаціях із реального життя, коли ви застосовуєте MapReduce, остаточні алгоритми в кінцевому підсумку становлять кілька кроків MapReduce. тобто Map1, Reduce1, Map2, Reduce2 тощо. Таким чином, у вас є вихід з останнього зменшення, яке потрібне як вхід для наступної карти. Проміжні дані - це те, чого ви (загалом) не …

124 hadoop  mapreduce 

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. не в змозі створити нічого в hdfs я зробила root# bin/hadoop fs -safemode leave Але показ safemode: Unknown command в чому проблема? Рішення

122 hadoop  hdfs 

Відповідно до Hadoop - The Definitive Guide Логічні записи, які визначають FileInputFormats, зазвичай не вписуються акуратно в блоки HDFS. Наприклад, логічні записи TextInputFormat - це рядки, які частіше за все перетинають межі HDFS. Це не стосується функціонування вашої програми - наприклад, рядки не пропущені або порушені, але про це варто …

119 hadoop  split  mapreduce  block  hdfs 

У програмі Map Reduce скорочення фаза зменшення, сортування та зменшення є її підрозділами. Сортування - дорога справа. Яка мета переміщення та сортування фази редуктора в програмі зменшення карт?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

Хто-небудь може сказати мені різницю між зовнішньою та внутрішньою таблицями Hive. Я знаю, що різниця виникає при опусканні столу. Я не розумію, що ви маєте на увазі під тим, що дані та метадані видаляються у внутрішніх, а лише метадані видаляються у зовнішніх таблицях. Хто-небудь може мені пояснити з точки зору …

110 hadoop  hive  hiveql