Запитання з тегом «apache-kafka»

Я використовую apache kafka для обміну повідомленнями. Я застосував виробника та споживача на Java. Як ми можемо отримати кількість повідомлень у темі?

93 java  messages  apache-kafka 

Чи є спосіб видалити всі дані з теми або видалити тему перед кожним запуском? Чи можу я змінити файл KafkaConfig.scala, щоб змінити logRetentionHoursвластивість? Чи є спосіб видалення повідомлень, як тільки споживач їх прочитає? Я використовую виробників для отримання даних звідкись і надсилання даних до певної теми, де споживач споживає, чи …

87 apache-kafka  apache-zookeeper 

Закрито . Це питання має бути більш сфокусованим . Наразі відповіді не приймаються. Хочете покращити це питання? Оновіть питання, щоб воно зосереджувалось на одній проблемі, лише відредагувавши цю публікацію . Закрито 2 місяці тому . Удосконалюйте це питання Redis можна використовувати як паб у режимі реального часу так само, як …

86 redis  apache-kafka  publish-subscribe 

Закрито . Це питання має бути більш сфокусованим . Наразі відповіді не приймаються. Хочете покращити це питання? Оновіть питання, щоб воно зосереджувалось на одній проблемі, лише редагуючи цю публікацію . Закрито 1 рік тому . Удосконалюйте це питання Я багато не працював над kafka, але хотів побудувати конвеєр даних у …

81 apache-kafka  google-cloud-pubsub 

Я використовую kafka 0.10 без zookeeper . Я хочу отримати список тем kafka. Ця команда не працює , так як ми не використовуємо зоопарк: bin/kafka-topics.sh --list --zookeeper localhost:2181. Як я можу отримати той самий результат без zookeeper?

81 apache-kafka  apache-zookeeper 

Я вивчав кілька варіантів налаштування kafka, і я знав, що Zookeeper повинен бути готовий до роботи, щоб ініціювати kafka. Я хотів би знати, як я можу знайти нижче. 1) ім'я хосту та порт для мого екземпляра zookeeper --- Я перевірив zoo.cfg, і я міг знайти лише ClientPort, а не ім'я …

79 hadoop  config  apache-zookeeper  apache-kafka  ps 

Я видав команду на видалення теми: ./bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic vip_ips_alerts Здавалося, це дало радісну відповідь: [2014-05-31 20:58:10,112] INFO zookeeper state changed (SyncConnected) (org.I0Itec.zkclient.ZkClient) Topic "vip_ips_alerts" queued for deletion. Але ось через 10 хвилин тема все ще з'являється в --listкоманді: ./bin/kafka-topics.sh --zookeeper localhost:2181 --list vip_ips_alerts - marked for deletion …

77 apache-kafka 

Закрито . Це питання має бути більш зосередженим . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно зосередило увагу на одній проблемі, лише відредагувавши цю публікацію . Закрито 3 дні тому . Я пішов на співбесіду з інженера даних. Інтерв'юер задав мені запитання. Він дав мені …

20 apache-spark  apache-kafka  stream-processing 

Я використовую клієнт Confluent.Kafka .NET версії 1.3.0. Я стежу за документами : var consumerConfig = new ConsumerConfig { BootstrapServers = "server1, server2", AutoOffsetReset = AutoOffsetReset.Earliest, EnableAutoCommit = true, EnableAutoOffsetStore = false, GroupId = this.groupId, SecurityProtocol = SecurityProtocol.SaslPlaintext, SaslMechanism = SaslMechanism.Plain, SaslUsername = this.kafkaUsername, SaslPassword = this.kafkaPassword, }; using (var consumer …

10 c#  apache-kafka  kafka-consumer-api 

Я постійно отримую FETCH_SESSION_ID_NOT_FOUND. Я не впевнений, чому це відбувається. Чи може хтось порадувати мене тут, в чому проблема, і який буде вплив на споживачів та брокерів. Журнал сервера Kafka: INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=8, fetcherId=1] Node 8 was unable to process the fetch request with …

9 apache-kafka 

У мене просте додаток з двома функціями, одна для прослуховування теми та інша для веб-кінцевої точки. Я хочу створити потокове подія на стороні сервера (SSE), тобто текст / потік-потік, щоб на кінцевому кінці я міг слухати його за допомогою EventSource. На даний момент у мене є такий код, коли кожна …

9 python  python-3.x  apache-kafka  aiohttp  faust