Запитання з тегом «hadoop»

На даний момент у мене є робота Hadoop, яка створює лічильники з досить відомим ім’ям. Так , наприклад, наступний: stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits. Цей лічильник усічений у веб-інтерфейсі та під час getName()виклику методу. Я виявив, що Hadoop має обмеження на ім'я лічильника, і цей ідентифікатор налаштувань mapreduce.job.counters.counter.name.maxпризначений для налаштування цього обмеження. Тож я …

79 java  hadoop  mapreduce  yarn 

Я вивчав кілька варіантів налаштування kafka, і я знав, що Zookeeper повинен бути готовий до роботи, щоб ініціювати kafka. Я хотів би знати, як я можу знайти нижче. 1) ім'я хосту та порт для мого екземпляра zookeeper --- Я перевірив zoo.cfg, і я міг знайти лише ClientPort, а не ім'я …

79 hadoop  config  apache-zookeeper  apache-kafka  ps 

У mapreduce кожне завдання зменшення запишіть його вихідні дані у файл з іменем part-r-nnnnn, де nnnnn - це ідентифікатор розділу, пов'язаний із завданням зменшення. Чи співпадає / зменшує об’єднання цих файлів? Якщо так, то як?

75 hadoop  mapreduce 

Я намагаюсь імпортувати org.apache.hadoop cloudera's : hadoop-client: 2.0.0-cdh4.0.0 з репозиторію cdh4 maven у проект maven у плагіні eclipse 3.81, m2e, з jdk oracle oracle 1.7.0_05 на win7 за допомогою <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.0.0-cdh4.0.0</version> </dependency> однак я отримую таку помилку: The container 'Maven Dependencies' references non existing library 'C:\Users\MyUserId\.m2\repository\jdk\tools\jdk.tools\1.6\jdk.tools-1.6.jar' більш конкретно, …

74 java  maven  maven-2  hadoop  cloudera