Запитання з тегом «hadoop»

Одним з головних прикладів, який використовується при демонстрації сили MapReduce, є тестовий показник Terasort . У мене виникають проблеми з розумінням основ алгоритму сортування, що використовується в середовищі MapReduce. Для мене сортування просто включає визначення відносного положення елемента по відношенню до всіх інших елементів. Тож сортування передбачає порівняння "всього" з …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

Вони повинні бути рівними? але, чому команди " hadoop fs" показують час, hdfs filesа " hdfs dfs" команди показують локальні файли? ось інформація про версію hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Складено jenkins 22 квітня 10:48:26 PDT 2013

109 hadoop  hdfs 

Я отримую таку помилку під час запуску Namenode для останнього випуску hadoop-2.2. Я не знайшов файл winutils exe в папці bdo hadoop. Я спробував нижче команди $ bin/hdfs namenode -format $ sbin/yarn-daemon.sh start resourcemanager ERROR [main] util.Shell (Shell.java:getWinUtilsPath(303)) - Failed to locate the winutils binary in the hadoop binary path …

108 hadoop 

Зачинено. Це питання не відповідає вказівкам щодо переповнення стека . Наразі відповіді не приймаються. Хочете покращити це питання? Оновіть питання, щоб воно було тематичним для переповнення стека. Закрито 4 роки тому . Удосконалюйте це питання Отже, я дивлюся на Hadoop з великим інтересом, і, чесно кажучи, я зачарований, все не …

98 c#  .net  hadoop  mapreduce 

Я намагаюся запустити простий NaiveBayesClassifer за допомогою hadoop, отримуючи цю помилку Exception in thread "main" java.io.IOException: No FileSystem for scheme: file at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:180) at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175) at org.apache.mahout.classifier.naivebayes.NaiveBayesModel.materialize(NaiveBayesModel.java:100) Код: Configuration configuration = new Configuration(); NaiveBayesModel model = NaiveBayesModel.materialize(new Path(modelPath), configuration);// error …

96 java  hadoop  io 

Я знаю du -shв загальних файлових системах Linux. Але як це зробити за допомогою HDFS?

96 hadoop  command-line  directory  hdfs 

Чи існують залежності між Spark та Hadoop ? Якщо ні, чи є якісь функції, які я втрачу, запустивши Spark без Hadoop ?

91 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

Я планую використовувати один із форматів файлів hadoop для свого проекту, пов’язаного з hadoop. Я розумію, що паркет ефективний для запитів на основі стовпців, а avro для повного сканування або коли нам потрібні всі дані стовпців! Перш ніж продовжити і вибрати один із форматів файлів, я хочу зрозуміти, у чому …

91 hadoop  avro  parquet 

Як я можу знайти, яку версію Hive я використовую, з командного рядка. Нижче - деталі- Я використовую Putty для підключення до таблиці вуликів та доступу до записів у таблицях. Отже, що я зробив, це - я відкрив Putty і в імені хоста, який я набрав, - leo-ingesting.vip.name.comа потім клацну Open. …

88 hadoop  hive 

Я провожу кілька тестів щодо форматів сховищ, доступних у Hive, і використовую Parquet та ORC як основні варіанти. Я включив ORC один раз із стисненням за замовчуванням і один раз із Snappy. Я прочитав багато документів, у яких зазначено, що паркет кращий за часом / простором у порівнянні з ORC, …

87 hadoop  hive  parquet  snappy  orc 

Під час встановлення hadoop на моєму локальному комп'ютері я отримав таку помилку ssh -vvv localhost OpenSSH_5.5p1, OpenSSL 1.0.0e-fips 6 Sep 2011 debug1: Reading configuration data /etc/ssh/ssh_config debug1: Applying options for * debug2: ssh_connect: needpriv 0 debug1: Connecting to localhost [127.0.0.1] port 22. debug1: connect to address 127.0.0.1 port 22: Connection …

86 linux  hadoop  ssh 

У Hadoop v1 я призначив кожному 7 слотам картографа та редуктора розміром 1 ГБ, мої картографа та редуктори працюють нормально. Мій апарат має пам’ять 8G, 8 процесорів. Тепер з YARN, під час запуску того самого додатка на тій самій машині, я отримав помилку контейнера. За замовчуванням у мене є такі …

85 hadoop  mapreduce  yarn  mrv2 

В даний час це питання не підходить для нашого формату запитань та відповідей. Ми очікуємо, що відповіді будуть підтверджені фактами, посиланнями чи експертизою, але це питання, швидше за все, вимагатиме дебатів, аргументів, опитування чи розширеного обговорення. Якщо ви вважаєте, що це питання можна покращити і, можливо, знову відкрити, відвідайте довідковий …

84 nosql  hadoop  cassandra  hbase  data-processing 

Коли в Hadoop починаються завдання зменшення? Чи починаються вони після закінчення певного відсотка (порогового значення) картографів? Якщо так, чи встановлено цей поріг? Який поріг зазвичай використовується?

82 hadoop  mapreduce  reduce 

ми хотіли б розмістити результати запиту Hive у файл CSV. Я вважав, що команда повинна виглядати так: insert overwrite directory '/home/output.csv' select books from table; Коли я запускаю його, він повідомляє, що він завершився успішно, але я ніколи не можу знайти файл. Як мені знайти цей файл чи я повинен …

81 database  hadoop  hive  hiveql