Запитання з тегом «yarn»

Я намагаюся зрозуміти взаємозв'язок кількості ядер та кількості виконавців під час виконання завдання Spark на YARN. Тестове середовище таке: Кількість вузлів даних: 3 Технічні характеристики вузла даних: Процесор: Core i7-4790 (кількість ядер: 4, кількість потоків: 8) ОЗУ: 32 ГБ (8 ГБ х 4) Жорсткий диск: 8 ТБ (2 ТБ х …

194 hadoop  apache-spark  yarn 

У мене запущена програма Spark, де вона займає всі ядра, де в інших моїх додатках не буде виділено жодного ресурсу. Я зробив кілька швидких досліджень, і люди запропонували використовувати команду YARN kill або / bin / spark-class для вбивства команди. Однак я використовую версію CDH, і / bin / spark-клас …

101 apache-spark  yarn  pyspark 

У Hadoop v1 я призначив кожному 7 слотам картографа та редуктора розміром 1 ГБ, мої картографа та редуктори працюють нормально. Мій апарат має пам’ять 8G, 8 процесорів. Тепер з YARN, під час запуску того самого додатка на тій самій машині, я отримав помилку контейнера. За замовчуванням у мене є такі …

85 hadoop  mapreduce  yarn  mrv2 

На даний момент у мене є робота Hadoop, яка створює лічильники з досить відомим ім’ям. Так , наприклад, наступний: stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits. Цей лічильник усічений у веб-інтерфейсі та під час getName()виклику методу. Я виявив, що Hadoop має обмеження на ім'я лічильника, і цей ідентифікатор налаштувань mapreduce.job.counters.counter.name.maxпризначений для налаштування цього обмеження. Тож я …

79 java  hadoop  mapreduce  yarn 

Я новачок в Apache Spark, і я щойно дізнався, що Spark підтримує три типи кластера: Автономний - це означає, що Spark буде керувати власним кластером YARN - за допомогою менеджера ресурсів YARN від Hadoop Mesos - спеціальний проект менеджера ресурсів Apache Оскільки я новачок у Spark, думаю, спочатку слід спробувати …

76 apache-spark  yarn  mesos  apache-spark-standalone