Як я можу надсилати великі повідомлення з Kafka (понад 15 МБ)?

Я надсилаю String-повідомлення на Kafka V. 0.8 за допомогою API Java Producer. Якщо розмір повідомлення становить близько 15 МБ, я отримую MessageSizeTooLargeException. Я намагався встановитиmessage.max.bytes 40 Мб, але все одно отримую виняток. Невеликі повідомлення працювали без проблем.

(Виняток з’являється у виробника; у цій програмі у мене немає споживача.)

Що я можу зробити, щоб позбутися цього винятку?

Мій приклад виробника конфігурації

private ProducerConfig kafkaConfig() {
    Properties props = new Properties();
    props.put("metadata.broker.list", BROKERS);
    props.put("serializer.class", "kafka.serializer.StringEncoder");
    props.put("request.required.acks", "1");
    props.put("message.max.bytes", "" + 1024 * 1024 * 40);
    return new ProducerConfig(props);
}

Журнал помилок:

4709 [main] WARN  kafka.producer.async.DefaultEventHandler  - Produce request with correlation id 214 failed due to [datasift,0]: kafka.common.MessageSizeTooLargeException
4869 [main] WARN  kafka.producer.async.DefaultEventHandler  - Produce request with    correlation id 217 failed due to [datasift,0]: kafka.common.MessageSizeTooLargeException
5035 [main] WARN  kafka.producer.async.DefaultEventHandler  - Produce request with   correlation id 220 failed due to [datasift,0]: kafka.common.MessageSizeTooLargeException
5198 [main] WARN  kafka.producer.async.DefaultEventHandler  - Produce request with correlation id 223 failed due to [datasift,0]: kafka.common.MessageSizeTooLargeException
5305 [main] ERROR kafka.producer.async.DefaultEventHandler  - Failed to send requests for topics datasift with correlation ids in [213,224]

kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.
at kafka.producer.async.DefaultEventHandler.handle(Unknown Source)
at kafka.producer.Producer.send(Unknown Source)
at kafka.javaapi.producer.Producer.send(Unknown Source)

Вам потрібно скорегувати три (або чотири) властивості:

• Сторона споживача:fetch.message.max.bytes - це визначатиме найбільший розмір повідомлення, який може отримати споживач.
• Сторона брокера: replica.fetch.max.bytes посередника - це дозволить реплікам у брокерах надсилати повідомлення в кластер і переконуватись, що повідомлення реплікуються правильно. Якщо це занадто мало, то повідомлення ніколи не буде повторюватися, а отже, споживач ніколи не побачить повідомлення, оскільки повідомлення ніколи не буде вчинене (повністю реплікуване).
• Сторона брокера: message.max.bytes - це найбільший розмір повідомлення, який може отримати брокер від виробника.
• Сторона max.message.bytesпосередника (за темою): - це найбільший розмір повідомлення, який брокер дозволить додати до теми. Цей розмір підтверджується допрессідацією. (За замовчуванням до брокера message.max.bytes.)

Я дізнався важкий шлях щодо числа 2 - ви не отримуєте жодних винятків, повідомлень чи попереджень від Kafka, тому обов'язково враховуйте це, коли ви надсилаєте великі повідомлення.

Невеликі зміни, необхідні для Kafka 0.10 та нового споживача порівняно з відповіддю laughing_man :

• Брокер: Жодних змін немає, вам потрібно збільшити властивості message.max.bytesта replica.fetch.max.bytes. message.max.bytesмає бути рівним або меншим (*), ніжreplica.fetch.max.bytes .
• Виробник: Збільшити max.request.size щоб надіслати більше повідомлення.
• Споживач: збільшуйте, max.partition.fetch.bytesщоб отримувати більші повідомлення.

(*) Прочитайте коментарі, щоб дізнатися більше про message.max.bytes<=replica.fetch.max.bytes

Вам потрібно змінити такі властивості:

Конфігурація посередника ($ KAFKA_HOME / config / server.properties)

• replica.fetch.max.bytes
• message.max.bytes

Споживчі конфігурації ($ KAFKA_HOME / config / Consumer.properties)
Цей крок не працював для мене. Я додаю його до програми для споживачів, і він працював чудово

• fetch.message.max.bytes

Перезавантажте сервер.

Перегляньте цю документацію для отримання додаткової інформації: http://kafka.apache.org/08/configuration.html

Ідея полягає в тому, щоб повідомлення було рівним за розміром, яке надсилається від виробника Kafka до брокера Kafka, а потім отримується від Kafka Consumer, тобто

Кафський виробник -> Kafka Broker -> Kafka Consumer

Припустимо, якщо вимога полягає в надсиланні 15 Мб повідомлення, тоді виробник , брокер та споживач , усі три, повинні синхронізуватися.

Kafka Producer надсилає 15 Мб -> Брокер Kafka Дозволяє / Магазини 15 Мб -> Kafka Consumer отримує 15 МБ

Отже, цей параметр повинен бути:

а) на брокера:

message.max.bytes=15728640 
replica.fetch.max.bytes=15728640

б) щодо споживача:

fetch.message.max.bytes=15728640

Одна ключова річ , щоб пам'ятати , що message.max.bytesатрибут повинен бути синхронізований з споживача fetch.message.max.bytesнерухомості. розмір вибору повинен бути принаймні таким же, як максимальний розмір повідомлення, інакше може виникнути ситуація, коли виробники можуть надсилати повідомлення, більші, ніж споживач може споживати / отримувати. Можливо, варто поглянути на це.
Яку версію Kafka ви використовуєте? Надайте ще кілька деталей, які ви отримуєте. чи є якась річ на кшталт ... payload size of xxxx larger than 1000000підійде до журналу?

Відповідь від @laughing_man досить точна. Але все ж я хотів дати рекомендацію, яку я дізнався від експерта Kafka Стефана Маарека від Quora.

Кафка не призначена для обробки великих повідомлень.

Ваш API повинен використовувати хмарне сховище (Ex AWS S3), а просто натисніть на Kafka або будь-якого брокера повідомлень, що посилається на S3. Ви повинні знайти десь зберегти свої дані, можливо, це мережевий диск, можливо, це все що завгодно, але це не повинно бути посередником повідомлень.

Тепер, якщо ви не хочете піти з вищевказаним рішенням

Максимальний розмір повідомлення - 1 Мб (настройка у ваших брокерів називається message.max.bytes) Apache Kafka . Якщо вам це дуже потрібно, ви можете збільшити цей розмір і переконатися в збільшенні мережевих буферів для своїх виробників і споживачів.

Якщо ви дійсно переймаєтесь розділенням свого повідомлення, переконайтеся, що кожне розділене повідомлення має однакову клавішу, щоб його було натиснуто на один і той же розділ, а вміст вашого повідомлення повинен повідомити "ідентифікатор частини", щоб ваш споживач міг повністю відновити повідомлення. .

Ви також можете вивчити стиснення, якщо ваше повідомлення засноване на тексті (gzip, snappy, lz4 стиснення), що може зменшити розмір даних, але не магічно.

Знову ж таки, ви повинні використовувати зовнішню систему для зберігання цих даних і просто натиснути зовнішню посилання на Kafka. Це дуже поширена архітектура, і з якою ви повинні піти і широко прийняти.

Майте на увазі, що Кафка працює найкраще лише в тому випадку, якщо повідомлення мають величезну кількість, але не за розміром.

Джерело: https://www.quora.com/How-do-I-send-Large-messages-80-MB-in-Kafka

Для людей, які використовують landoop kafka: Ви можете передавати значення конфігурацій у змінні середовища, наприклад:

docker run -d --rm -p 2181:2181 -p 3030:3030 -p 8081-8083:8081-8083  -p 9581-9585:9581-9585 -p 9092:9092
 -e KAFKA_TOPIC_MAX_MESSAGE_BYTES=15728640 -e KAFKA_REPLICA_FETCH_MAX_BYTES=15728640  landoop/fast-data-dev:latest `

І якщо ви використовуєте rdkafka, тоді передайте message.max.bytes у конфігурацію виробника, наприклад:

  const producer = new Kafka.Producer({
        'metadata.broker.list': 'localhost:9092',
        'message.max.bytes': '15728640',
        'dr_cb': true
    });

Аналогічно для споживача

  const kafkaConf = {
   "group.id": "librd-test",
   "fetch.message.max.bytes":"15728640",
   ... .. }