Не вдалося знайти бінарний вінутіл у бінарному шляху hadoop

Я отримую таку помилку під час запуску Namenode для останнього випуску hadoop-2.2. Я не знайшов файл winutils exe в папці bdo hadoop. Я спробував нижче команди

$ bin/hdfs namenode -format
$ sbin/yarn-daemon.sh start resourcemanager

ERROR [main] util.Shell (Shell.java:getWinUtilsPath(303)) - Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
    at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:278)
    at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:300)
    at org.apache.hadoop.util.Shell.<clinit>(Shell.java:293)
    at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:76)
    at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:863)

Просте рішення: Завантажте його звідси та додайте до$HADOOP_HOME/bin

( Джерело )

ВАЖЛИВА ОНОВЛЕННЯ:

Для hadoop-2.6.0 ви можете завантажити бінарні файли з блогу Titus Barik >> .

Мені не тільки потрібно було вказати HADOOP_HOMEна витягнутий каталог [path], але і надати властивість системи -Djava.library.path=[path]\binдля завантаження нативних ліб (dll).

Якщо ви зіткнулися з цією проблемою під час запуску автономного локального додатку з Spark (тобто, додавши в проект spark-Assembly-xxx-hadoopx.xxjar або Maven залежність), більш простим рішенням буде поставити winutils.exe (завантажити з тут ) в "C: \ winutil \ Bin". Потім ви можете додати winutils.exe до домашнього каталогу hadoop, додавши до коду наступний рядок:

System.setProperty("hadoop.home.dir", "c:\\\winutil\\\")

Джерело: Натисніть тут

Якщо ми візьмемо безпосередньо бінарний дистрибутив Apache Hadoop 2.2.0 випуску і спробуємо запустити його на Microsoft Windows, тоді ми зустрінемося з помилкою util.Shell: Не вдалося знайти бінарний winutils у бінарному шляху hadoop.

Бінарний розподіл випуску Apache Hadoop 2.2.0 не містить деяких нативних компонентів Windows (наприклад, winutils.exe, hadoop.dll тощо). Вони потрібні (не обов’язково) для запуску Hadoop в Windows.

Отже, вам потрібно створити вікно-початковий бінарний розподіл hadoop з вихідних кодів за файлом "BUILD.txt", розташованим всередині вихідного розподілу hadoop. Ви можете дотримуватися наступних публікацій, а також покрокове керівництво із знімком екрана

Створення, встановлення, налаштування та запуск Apache Hadoop 2.2.0 в операційній системі Microsoft Windows

Помилка util.Shell: Не вдалося знайти бінарні winutils у бінарному шляху hadoop

Заява java.io.IOException: Не вдалося знайти виконаний null \ bin \ winutils.exe

пояснює, що нуль отримується при розширенні або заміні змінної середовища. Якщо ви бачите Джерело в Shell.Java у загальному пакеті, ви виявите, що змінна HADOOP_HOME не встановлюється, і ви отримуєте null замість цього, а значить, і помилка.

Отже, для цього потрібно правильно встановити HADOOP_HOME або змінну властивість hadoop.home.dir.

Сподіваюся, це допомагає.

Спасибі, Камлешвар.

Winutils.exe використовується для запуску команд оболонки для SPARK. Коли вам потрібно запустити Spark, не встановлюючи Hadoop, вам потрібен цей файл.

Кроки такі:

1. Завантажте winutils.exe з наступного місця для hadoop 2.7.1 https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1/bin [ПРИМІТКА: Якщо ви використовуєте окрему версію hadoop, завантажте її winutils з відповідної папки версії hadoop у GITHUB із зазначеного вище місця.]

2. Тепер створіть папку "winutils" на C: \ диску. Тепер створіть папку "бін" всередині папки "winutils" і скопіюйте winutils.exe у цю папку. Таким чином, місце winutils.exe буде C: \ winutils \ bin \ winutils.exe

3. Тепер відкрийте змінну середовища і встановіть HADOOP_HOME = C: \ winutils [ПРИМІТКА: Будь ласка, не додайте \ bin в HADOOP_HOME і не потрібно встановлювати HADOOP_HOME на шляху]

Вашу проблему потрібно вирішити !!

Я просто зіткнувся з цим питанням під час роботи з Eclipse. У моєму випадку у мене була завантажена правильна версія Hadoop (hadoop-2.5.0-cdh5.3.0.tgz), я витяг вміст і розмістив його безпосередньо на своєму диску C. Тоді я пішов до

Затемнення-> Конфігурації налагодження / запуску -> Навколишнє середовище (вкладка) -> та додано

змінна: HADOOP_HOME

Значення: C: \ hadoop-2.5.0-cdh5.3.0

Завантажити winutils.exe тут: http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe

Потім скопіюйте його у свій HADOOP_HOME/binкаталог.

У Pyspark, щоб запустити локальну програму іскри, використовуючи Pycharm, використовуйте нижче рядків

os.environ['HADOOP_HOME'] = "C:\\winutils"
print os.environ['HADOOP_HOME']

winutils.exe потрібні для hadoop для виконання команд, пов'язаних з hadoop. завантажте zip-файл hadoop-common-2.2.0. winutils.exe можна знайти в папці bin. Витягніть zip-файл і скопіюйте його в локальну папку hadoop / bin.

Я зіткнувся з тією ж проблемою. Видалення bin\зі шляху HADOOP_HOME вирішило це для мене. Шлях для змінної HADOOP_HOME повинен виглядати приблизно так.

C:\dev\hadoop2.6\

Може знадобитися перезапуск системи. У моєму випадку перезавантаження IDE було достатньо.

Установіть змінну HADOOP_HOME у Windows, щоб вирішити проблему.

Ви можете знайти відповідь у org/apache/hadoop/hadoop-common/2.2.0/hadoop-common-2.2.0-sources.jar!/org/apache/hadoop/util/Shell.java:

IOException від

  public static final String getQualifiedBinPath(String executable) 
  throws IOException {
    // construct hadoop bin path to the specified executable
    String fullExeName = HADOOP_HOME_DIR + File.separator + "bin" 
      + File.separator + executable;
    File exeFile = new File(fullExeName);
    if (!exeFile.exists()) {
      throw new IOException("Could not locate executable " + fullExeName
        + " in the Hadoop binaries.");
    }
    return exeFile.getCanonicalPath();
  }

HADOOP_HOME_DIR від

// first check the Dflag hadoop.home.dir with JVM scope
String home = System.getProperty("hadoop.home.dir");
// fall back to the system/user-global env variable
if (home == null) {
  home = System.getenv("HADOOP_HOME");
}

1. Завантажте [winutils.exe]
   з URL:
   https://github.com/steveloughran/winutils/hadoop-version / bin
   
2. Минув його під HADOOP_HOME / bin
   Примітка. Ви повинні встановити змінні середовища:
   Користувацька змінна:
   Змінна : HADOOP_HOME
   Значення : Hadoop або spark dir

Я отримував те саме питання у Windows. Я це виправив

• Завантаження hadoop-common-2.2.0-bin-master із посилання .
• Створіть змінну користувача HADOOP_HOME у змінній Environment і призначте шлях до каталогу hadoop-common bin як значення.
• Ви можете перевірити це, запустивши hadoop в cmd.
• Перезавантажте IDE і запустіть його.

Завантажте потрібну версію папки hadoop (скажіть, якщо ви встановлюєте іскру в Windows, то версію hadoop, для якої створена ваша іскра), з цього посилання, як zip.

Витягніть блискавку до потрібного каталогу. Потрібно мати каталог форми hadoop\bin(явно створити таку hadoop\binструктуру каталогів, якщо ви хочете) з binвмістом усіх файлів, що містяться в binпапці завантаженого hadoop. Він буде містити багато файлів, таких як hdfs.dll, hadoop.dll тощо, крім winutil.exe.

Тепер створіть змінну середовища HADOOP_HOME та встановіть її <path-to-hadoop-folder>\hadoop. Потім додайте ;%HADOOP_HOME%\bin; до PATHзмінної середовища.

Відкрийте "новий командний рядок" і спробуйте відновити свою команду.

Я використовував версії "hbase-1.3.0" та "hadoop-2.7.3". Встановлення змінної середовища HADOOP_HOME та копіювання файлу 'winutils.exe' у папку HADOOP_HOME / bin вирішує проблему на ОС Windows. Увага, встановіть середовище HADOOP_HOME в папку інсталяції hadoop (/ папка bin не потрібна для цих версій). Крім того, я вважав за краще використовувати інструмент крос-платформи cygwin для врегулювання функціональності Linux Linux (наскільки це можливо), оскільки команда Hbase рекомендує linux / unix env.