Запитання з тегом «apache-kafka»

Мене попросили оцінити RabbitMQ замість Kafka, але мені було важко знайти причину, що це робить щось краще, ніж Kafka. Хтось знає, чи справді це краще в пропускній здатності, довговічності, затримці чи простоті у використанні?

332 rabbitmq  apache-kafka  message-queue 

Хоча я раніше зустрічався з Кафкою , я нещодавно зрозумів, що Кафку, можливо, можна використовувати як (основу) CQRS , eventstore . Один з головних моментів, які підтримує Кафка: Захоплення / зберігання події, всі HA звичайно. Паб / під архітектура Можливість відтворення журналу подій, що дозволяє новим абонентам зареєструватися в системі …

219 cqrs  event-sourcing  apache-kafka  dddd 

Чи є спосіб очистити тему в кафці? Я перемістив надто велике повідомлення в тему повідомлень kafka на своїй локальній машині, тепер я отримую помилку: kafka.common.InvalidMessageSizeException: invalid message size Збільшення цього показника fetch.sizeне є ідеальним, тому що я насправді не хочу приймати такі великі повідомлення.

185 apache-kafka  purge 

Я починаю вивчати Кафку для цілей корпоративного рішення. Під час читання мені на думку спадали деякі питання: Коли виробник виробляє повідомлення - він визначатиме тему, на яку хоче надіслати повідомлення, чи правильно це? Дбає про перегородки? Коли працює абонент - чи вказується його ідентифікатор групи, щоб він міг бути частиною …

185 apache-kafka  kafka-consumer-api  kafka-producer-api 

Я намагаюся використовувати Кафку. Всі конфігурації виконані правильно, але коли я намагаюся створювати повідомлення з консолі, я постійно отримую наступну помилку WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient) Версія Kafka: 2.11-0.9.0.0

172 apache-kafka  producer 

Я відносно новий в Кафці. Я трохи експериментував з цим, але мені кілька незрозумілих щодо компенсації споживачів. З того, що я зрозумів до цього часу, коли споживач запускає, зміщення, з якого він почне читати, визначається налаштуваннями конфігурації auto.offset.reset(виправте мене, якщо я помиляюся). Тепер скажімо, наприклад, що в темі є 10 …

169 java  distributed-computing  apache-kafka 

Одне з перших, про що я думаю, коли користуюся новою службою (наприклад, сховищем даних, що не є RDBMS, або чергою повідомлень), є: "Як я повинен структурувати свої дані?". Я читав і переглядав деякі вступні матеріали. Зокрема, візьмемо, наприклад, Kafka: розподілену систему обміну повідомленнями для обробки журналів , яка пише: "Тема …

168 apache-kafka 

У Kafka я хотів би використовувати лише одного брокера, одну тему та єдиний розділ, що має одного виробника та декількох споживачів (кожен споживач отримує власну копію даних від брокера). Враховуючи це, я не хочу витрачати гроші на використання Zookeeper; Чи можу я не просто використовувати лише брокера? Чому зоопарк повинен?

134 partitioning  apache-zookeeper  producer-consumer  apache-kafka  broker 

Я надсилаю String-повідомлення на Kafka V. 0.8 за допомогою API Java Producer. Якщо розмір повідомлення становить близько 15 МБ, я отримую MessageSizeTooLargeException. Я намагався встановитиmessage.max.bytes 40 Мб, але все одно отримую виняток. Невеликі повідомлення працювали без проблем. (Виняток з’являється у виробника; у цій програмі у мене немає споживача.) Що я …

118 java  apache-kafka 

Як знайти версію kafka в Linux? чи є спосіб знайти встановлену версію kafka, крім згадування про версію під час завантаження?

107 apache-kafka 

Apache Kafka: Розподілена система обміну повідомленнями Apache Storm: Обробка повідомлень у режимі реального часу Як ми можемо використовувати обидві технології в трубопроводі даних в режимі реального часу для обробки даних про події? З точки зору конвеєра даних у режимі реального часу обидва, як мені здається, виконують роботу однаково. Як ми …

102 apache-storm  apache-kafka  data-integration 

Нещодавно я почав вивчати Кафку і закінчую цими питаннями. У чому різниця між Consumer і Stream? Для мене якщо будь-який інструмент / програма споживає повідомлення від Kafka - споживач у світі Kafka. Чим потік відрізняється, оскільки він також споживає або створює повідомлення Кафці? і навіщо це потрібно, оскільки ми можемо …

100 apache-kafka  kafka-consumer-api  apache-kafka-streams 

Закрито . Це питання має бути більш сфокусованим . Наразі відповіді не приймаються. Хочете покращити це питання? Оновіть питання, щоб воно зосереджувалось на одній проблемі, лише відредагувавши цю публікацію . Закрито 10 місяців тому . Удосконалюйте це питання Всі приклади з Кафки | виробники показують ProducerRecordпару ключ / значення як …

97 apache-kafka  message-queue  messaging  key-value  messagebroker 

Мені потрібно видалити тему testв Apache Kafka 0.8.1.1. Як зазначено в документації тут , я виконав: bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test Однак це призводить до наступного повідомлення: Command must include exactly one action: --list, --describe, --create or --alter Як я можу видалити цю тему?

94 apache-kafka 

KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); Наразі я надсилаю повідомлення без будь-якого ключа як частину повідомлень із ключами, чи буде воно все ще працювати delete.retention.ms? Чи потрібно надсилати ключ як частину повідомлення? Чи добре це робити ключем як частиною повідомлення?

93 apache-kafka  kafka-consumer-api