Spark Kill Running Application

101

У мене запущена програма Spark, де вона займає всі ядра, де в інших моїх додатках не буде виділено жодного ресурсу.

Я зробив кілька швидких досліджень, і люди запропонували використовувати команду YARN kill або / bin / spark-class для вбивства команди. Однак я використовую версію CDH, і / bin / spark-клас взагалі не існує, програма YARN kill також не працює.

введіть тут опис зображення

Чи може хтось зі мною зі цим?

apache-spark yarn pyspark

— B.Mr.W.
джерело

1

якщо ви перебуваєте в тестовій програмі env: ps aux | grep

— spark

@eliasah "test env", мені робота вже розподілена ..

— B.Mr.W.

1

ви хочете вбити роботу на виробництві ????

— eliasah

1

@eliasah Так ... робота на виробництві зависла через невдачу одного господаря.

— B.Mr.W.

213

скопіюйте повний ідентифікатор програми з планувальника іскор, наприклад, application_1428487296152_25597
підключіться до сервера, який запустив завдання
yarn application -kill application_1428487296152_25597

— Джеральд Райнхарт
джерело

1

Як потрапити на планувальник іскри?

— makansij

Це те саме, що і web UI?

— makansij

@Hunle Ідентифікатор можна отримати з інтерфейсу програм Spark History UIабо Пряжа програмного забезпечення RUNNING( пряжа-хост: 8088 / кластер / програми / ВПРАВЛЕННЯ ) або за Spark Job Web UIURL-адресою ( хост пряжі: 8088 / проксі /

— додаток_

2

чи можна вбити відразу декілька: додаток пряжі -kill application_1428487296152_25597 application_1428487296152_25598 ... ??

— user3505444

6

Це може зайняти багато часу, щоб отримати всі ідентифікатори програми від YARN та вбити їх по черзі. Ви можете використовувати Bash for цикл, щоб швидко і ефективніше виконати це повторюване завдання, як показано нижче:

Вбийте всі програми на Пряжі, які знаходяться у ПРИЙМАНОму стані:

for x in $(yarn application -list -appStates ACCEPTED | awk 'NR > 2 { print $1 }'); do yarn application -kill $x; done

Убийте всі програми на Пряжі, які знаходяться у стані ПОВЕРНЕННЯ:

for x in $(yarn application -list -appStates RUNNING | awk 'NR > 2 { print $1 }'); do yarn application -kill $x; done

— Аніл Кумар
джерело

3

https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Application_State_API

PUT http: // {rm http адреса: порт} / ws / v1 / cluster / apps / {appid} / state

{
  "state":"KILLED"
}

— Starwalker
джерело

1

Це може бути не етичним і вподобаним рішенням, але воно допомагає в середовищах, коли ви не можете отримати доступ до консолі, щоб знищити роботу за допомогою команди програми пряжі.

Кроки є

Перейдіть на головну сторінку програми із іскрового завдання. Клацніть на розділі завдань. Клацніть на активному етапі активної роботи. Ви побачите кнопку "вбити" прямо біля активної сцени.

Це працює, якщо наступні етапи залежать від поточного етапу. Хоча це позначає роботу як "Убитий користувачем"

— Сачин Гайквад
джерело