Запитання з тегом «hadoop»

Я працюю над Windows 10 і намагаюся встановити Hadoop Я завантажив його звідси . При спробі витягнути Hadoop для файлів ( libhdfs.soі libhadoop.so) я отримую помилку. Cannot create symbolic link : Access is denied Як це виправити?

19 windows-10  symbolic-link  7-zip  hadoop 

Ми використовуємо hadoop, щоб розділити таблицю на менші файли для подачі в mahout, але в процесі цього ми створили величезну кількість часових журналів. У нас є кріплення NFS для тома hadoop, тому ми можемо використовувати всі команди Linux для видалення файлів папок, але ми просто не можемо їх видалити, ось …

1 linux  nfs  hadoop 

[hduser@mn1 bin]$ ./hdfs zkfc -formatZK Error: Could not find or load main class ”-Djava.library.path=”.home.hduser.2.3.0″.lib” Я робив кожен крок так само, як і в цьому підручнику, ДВА. Помилка все ж однакова, і я не можу це зрозуміти. Будь ласка, допоможи мені! Чи має значення архітектура ОС у цьому пакеті? У підручнику …

1 centos-6  hadoop 

Я вилучив hadoop зі своєї машини через apt-get remove --purge hadoop На виході я бачу, що наступні пакети не видалено: The following packages were automatically installed and are no longer required: avro-libs bigtop-jsvc bigtop-utils libjline-java liblog4j1.2-java libnetty-java libservlet2.5-java libslf4j-java libxerces2-java libxml-commons-external-java libxml-commons-resolver1.1-java libzookeeper-java libzookeeper-java-doc linux-headers-3.13.0-35 linux-headers-3.13.0-35-generic linux-headers-3.13.0-36 linux-headers-3.13.0-36-generic linux-headers-3.13.0-37 linux-headers-3.13.0-37-generic …

1 linux  ubuntu  apt-get  hadoop 

Таким чином, я хостинг hadoop hdfs з іскрою зверху на віддаленому сервері. Наразі hdfs працює правильно. Проблема, з якою я стикаюся, з webdfs. Коли я намагаюся завантажити файл за допомогою браузера файлів. вона дає посилання, подібне до цього: посилання . З того, що я розумію, це відбувається через ім'я, яке …

setup  cluster  hadoop  dfs 

Я встановив hadoop 2.9.2 і під час виконання start_all.shкоманди немає повзання проблем. Але коли я виконую команду jps, лише 4 демони показують, а саме Namenode, Datanode, SecondaryNamenode, DataNode, в той час як Менеджер ресурсів і вузлів не відображаються. Може хтось допоможе мені? Logs of execution: hadoop@saran-HP-Notebook:~$ start-all.sh This script is …

linux  java  hadoop 

Я намагаюся встановити Hadoop на Ubuntu як підсистему Windows, установка закінчена, але я отримую помилку під час запуску служб Hadoop. $ start-dfs.sh Starting namenodes on [localhost] localhost: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hduser-namenode-DESKTOP-HD9EL6C.out localhost: nice: cannot set niceness: Permission denied localhost: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hduser-datanode-DESKTOP-HD9EL6C.out localhost: nice: cannot set niceness: …

linux  permissions  windows-subsystem-for-linux  hadoop 

Коли Hadoop працює, він видає повідомлення, які ми всі бачили багато разів. Наприклад: 2015-03-30 10:09:08,750 [main] WARN org.apache.hadoop.conf.Configuration - dfs.data.dir is deprecated. Instead, use dfs.datanode.data.dir 2015-03-30 10:09:08,750 [main] WARN org.apache.hadoop.conf.Configuration - dfs.access.time.precision is deprecated. Instead, use dfs.namenode.accesstime.precision 2015-03-30 10:09:08,751 [main] WARN org.apache.hadoop.conf.Configuration - dfs.replication.min is deprecated. Instead, use dfs.namenode.replication.min 2015-03-30 …

logging  hadoop 

У мене є жорсткий накопичувач на 1 ТБ (931 ГБ), який я присвятив HDFS. Я монтую його в / hdfs. Ось мій hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/hdfs</value> </property> <property> <name>dfs.datanode.name.dir</name> <value>/hdfs</value> </property> </configuration> Використання: % df -H /dev/sdd1 Filesystem Size Used Avail Use% Mounted on /dev/sdd1 …

hadoop 

Я намагаюся підключитися до терміналу хмарних центів Google за допомогою зовнішньої IP-адреси та .ppk-файлу, але шпаклівка приймає попередню завантажену IP-адресу з терміналу AWS centos, і я завантажив правильний файл .ppk Нижче див. Знімок екрана.

-1 ssh  centos  putty  hadoop  google-cloud-platform