Мені потрібно видалити тему testв Apache Kafka 0.8.1.1.

Як зазначено в документації тут , я виконав:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

Однак це призводить до наступного повідомлення:

Command must include exactly one action: --list, --describe, --create or --alter

Як я можу видалити цю тему?

Видалення теми не завжди працює в 0.8.1.1

Видалення має працювати в наступному випуску, 0.8.2

kafka-topics.sh --delete --zookeeper localhost:2181 --topic your_topic_name

  Topic your_topic_name is marked for deletion.
  Note: This will have no impact if delete.topic.enable is not set to true.

Чи можна видалити тему?

Джира КАФКА-1397

Схоже, що команда видалення не була офіційно задокументована в Kafka 0.8.1.x через відому помилку ( https://issues.apache.org/jira/browse/KAFKA-1397 ).

Тим не менше, команда все ще була надіслана в коді і може бути виконана як:

bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper localhost:2181 --topic test

Тим часом помилка виправлена, і команда видалення тепер офіційно доступна в Kafka 0.8.2.0 як:

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

Додайте рядок нижче в $ {kafka_home} /config/server.properties

delete.topic.enable=true

Перезапустіть сервер kafka з новою конфігурацією:

${kafka_home}/bin/kafka-server-start.sh ~/kafka/config/server.properties

Видаліть теми, які ви хочете:

${kafka_home}/bin/kafka-topics.sh --delete  --zookeeper localhost:2181  --topic daemon12

Андреа має рацію. ми можемо зробити це за допомогою командного рядка.

І ми все ще можемо запрограмувати це

ZkClient zkClient = new ZkClient("localhost:2181", 10000);
zkClient.deleteRecursive(ZkUtils.getTopicPath("test2"));

Насправді я не рекомендую вам видаляти тему на Kafka 0.8.1.1. Я можу видалити цю тему цим методом, але якщо ви перевірите журнал для зберігача зоопарку, видалення зіпсує його.

Ви можете видалити певну тему kafka (приклад test:) з команди оболонки zookeeper ( zookeeper-shell.sh). Використовуйте команду нижче, щоб видалити тему

rmr {path of the topic}

приклад:

rmr /brokers/topics/test

Кроки для видалення 1 або більше тем у Kafka

Для видалення тем у kafka опцію видалення потрібно ввімкнути на сервері Kafka.

1. Go to {kafka_home}/config/server.properties
2. Uncomment delete.topic.enable=true

Видалити одну тему в Kafka, введіть наступну команду

kafka-topics.sh --видалити --zookeeper localhost: 2181 --topic

Видалити з kafka більше однієї теми

(добре для цілей тестування, коли я створив кілька тем і мав видаляти їх для різних сценаріїв)

1. Зупиніть Kafka Server і Zookeeper
2. перейдіть до папки / tmp, де зберігаються журнали, і видаліть папку kafkalogs та zookeeper вручну
3. Перезапустіть zookeeper і сервер kafka і спробуйте перерахувати теми,

bin / kafka-topics.sh --list --zookeeper localhost: 2181

якщо жодної теми не вказано, то всі теми успішно видалено. Якщо теми вказані, то видалення не вдалося. Спробуйте описані вище дії ще раз або перезавантажте комп’ютер.

Ці кроки видалять усі теми та дані

• Зупиніть Kafka-сервер і Zookeeper-сервер
• Видаліть каталоги даних tmp обох служб, за замовчуванням це C: / tmp / kafka-logs та C: / tmp / zookeeper.
• потім запустіть Zookeeper-server та Kafka-server

Команда:

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

на жаль, лише позначення теми для видалення.

Видалення не відбувається.

Це створює проблеми під час тестування будь-яких сценаріїв, які готують конфігурацію Kafka.

Підключені потоки:

• Очищення черги Кафки
• Чи є спосіб видалити всі дані з теми або видалити тему перед кожним запуском?

Додаючи до вищезазначених відповідей, потрібно видалити метадані, пов’язані з цією темою, у шляху зміщення споживача зоопарку.

bin/zookeeper-shell.sh zookeeperhost:port

rmr /consumers/<sample-consumer-1>/offsets/<deleted-topic>

В іншому випадку відставання буде негативним у інструментах моніторингу kafka, заснованих на zookeeper.

Як вже згадувалось у документі тут

Параметр видалення теми за замовчуванням вимкнено. Щоб увімкнути його, встановіть конфігурацію сервера delete.topic.enable = true Kafka наразі не підтримує зменшення кількості розділів для теми або зміну коефіцієнта реплікації.

Переконайтеся, що delete.topic.enable = true

bin/kafka-topics.sh –delete –zookeeper localhost:2181 –topic <topic-name>

Якщо у вас виникають проблеми з видаленням тем, спробуйте видалити тему за допомогою:

$KAFKA_HOME/bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic your_topic_name

команди. Потім, щоб перевірити процес видалення, перейдіть до каталогу журналів kafka, який зазвичай розміщується /tmp/kafka-logs/, а потім видаліть your_topic_nameфайл за допомогою rm -rf your_topic_nameкоманди.

Не забувайте контролювати весь процес за допомогою інструменту управління kafka, наприклад Kafka Tool.

Згаданий вище процес видалить теми без перезапуску сервера kafka.

Крок 1: Переконайтеся, що ви підключені до зоопарка та працює Кафка

Крок 2: Щоб видалити тему Kafka, запустіть Kafka-topic (Mac) або Kafka-topic.sh, якщо використовуєте (linux / Mac), додайте порт та --topic з назвою вашої теми та - видаліть, просто видаліть тему за допомогою успіху.

# Delete the kafka topic
# it will delete the kafka topic
kafka-topics --zookeeper 127.0.0.1:2181 --topic name_of_topic --delete
# or
kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic name_of_topic --delete

Спочатку ви запускаєте цю команду, щоб видалити свою тему:

$ bin/kafka-topics.sh --delete --bootstrap-server localhost:9092 --topic <topic_name>

Список активних тем для перевірки видалення повністю:

$ bin/kafka-topics.sh --list --bootstrap-server localhost:9092