Запитання з тегом «hdfs»

Я хотів би прочитати CSV в іскрі і перетворити його у DataFrame і зберігати його в HDFS df.registerTempTable("table_name") Я намагався: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Помилка, яку я отримав: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, …

141 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

Характеристики паркету Apache: Самоописування Стовпчастий формат Незалежна від мови У порівнянні з Avro, послідовними файлами, RC-файлами тощо, я хочу переглянути формати. Я вже читав: як працює Impala з форматами файлів Hadoop , вона дає деяку інформацію про формати, але я хотів би знати, як здійснюється доступ до даних та зберігання …

136 file  hadoop  hdfs  avro  parquet 

Як скопіювати файл з HDFS в локальну файлову систему. Під файлом немає фізичного розташування, навіть у каталозі. Як я можу перенести їх у свій місцевий для подальшої валідації. Мене пробують через wincp.

135 hadoop  copy  hdfs 

Це наївне питання, але я новачок у парадигмі NoSQL і не знаю багато про це. Тож якщо хтось може допомогти мені чітко зрозуміти різницю між HBase та Hadoop або якщо дати кілька покажчиків, які можуть допомогти мені зрозуміти різницю. До цього часу я провів деякі дослідження і відповідно. Наскільки я …

130 hadoop  nosql  hbase  hdfs  difference 

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. не в змозі створити нічого в hdfs я зробила root# bin/hadoop fs -safemode leave Але показ safemode: Unknown command в чому проблема? Рішення

122 hadoop  hdfs 

Відповідно до Hadoop - The Definitive Guide Логічні записи, які визначають FileInputFormats, зазвичай не вписуються акуратно в блоки HDFS. Наприклад, логічні записи TextInputFormat - це рядки, які частіше за все перетинають межі HDFS. Це не стосується функціонування вашої програми - наприклад, рядки не пропущені або порушені, але про це варто …

119 hadoop  split  mapreduce  block  hdfs 

У програмі Map Reduce скорочення фаза зменшення, сортування та зменшення є її підрозділами. Сортування - дорога справа. Яка мета переміщення та сортування фази редуктора в програмі зменшення карт?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

Вони повинні бути рівними? але, чому команди " hadoop fs" показують час, hdfs filesа " hdfs dfs" команди показують локальні файли? ось інформація про версію hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Складено jenkins 22 квітня 10:48:26 PDT 2013

109 hadoop  hdfs 

Я знаю du -shв загальних файлових системах Linux. Але як це зробити за допомогою HDFS?

96 hadoop  command-line  directory  hdfs