Кафка: FETCH_SESSION_ID_NOT_FOUND постійно отримує

Я постійно отримую FETCH_SESSION_ID_NOT_FOUND. Я не впевнений, чому це відбувається. Чи може хтось порадувати мене тут, в чому проблема, і який буде вплив на споживачів та брокерів.

Журнал сервера Kafka:

INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=8, fetcherId=1] Node 8 was unable to process the fetch request with (sessionId=258818904, epoch=2233): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,078] [ReplicaFetcherThread-44-10][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=10, fetcherId=44] Node 10 was unable to process the fetch request with (sessionId=518415741, epoch=4416): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,890] [ReplicaFetcherThread-32-9][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=9, fetcherId=32] Node 9 was unable to process the fetch request with (sessionId=418200413, epoch=3634): FETCH_SESSION_ID_NOT_FOUND.

Журнал споживачів Kafka:

12:29:58,936 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 8 was unable to process the fetch request with (sessionId=1368981303, epoch=60): FETCH_SESSION_ID_NOT_FOUND.
12:29:58,937 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1521862194, epoch=59): FETCH_SESSION_ID_NOT_FOUND.
12:29:59,939 INFO  [FetchSessionHandler:383] [Consumer clientId=zoneGroupMap#87e2af7cf742#test, groupId=zoneGroupMap#87e2af7cf742#test] Node 7 was unable to process the fetch request with (sessionId=868804875, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:06,952 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1135396084, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:12,965 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 6 was unable to process the fetch request with (sessionId=1346340004, epoch=56): FETCH_SESSION_ID_NOT_FOUND.

Деталі кластера:

Broker: 13 (1 Broker : 14 cores & 36GB memory)
Kafka cluster version: 2.0.0
Kafka Java client version: 2.0.0
Number topics: ~15. 
Number of consumers: 7K (all independent and manually assigned all partitions of a topic to a consumers. One consumer is consuming all partitions from a topic only)

apache-kafka

— Хришикеш Мішра
джерело

Я отримую цю саму помилку з клієнтом Kafka Java версії 2.3.1. Хтось має ідеї?

— Берт С.

@ BertS.підвищити це значенняmax.incremental.fetch.session.cache.slots

— Хришикеш Мішра

Привіт @HrishikeshMishra це (вище коментар) рішення, яке ти знайшов для цієї проблеми? Чи розглядаєте ви, додавши це як відповідь на свій пост і, якщо це можливо, з невеликим поясненням. У мене те саме питання, я перевірю ваше вище рішення.

— Хорхе Кампос

Це журнал INFO. Які наслідки просто ігнорувати це?

— Берт С.

Відповіді:

Збільшити значення max.incremental.fetch.session.cache.slots. Значення за замовчуванням - 1 К, у моєму випадку я збільшив його до 10 К і воно виправлено.

— Хришикеш Мішра
джерело

Це налаштування брокера?

— Берт С.

Так, його брокерські налаштування

— Хришикеш Мішра

Чи є щось, що можна зробити на стороні споживача чи виробника?

— Берт С.

Не потрібно нічого на кінці виробника та споживача.

— Хришикеш Мішра

Я бачу помилку свого споживача. У мене немає доступу для зміни самого брокера. Чи має це турбувати мене?

— Берт С.

Я збільшив його спочатку з 1К до 2К, а на другому кроці з 2К до 4К, і поки ліміт не був вичерпаний, помилки не було:

Як мені здавалося, як витік сеансу певним невстановленим споживачем, я ще не пробував ліміт 10K, але прочитавши відповідь Хришикеша Мішри, я точно буду. Оскільки збільшення межі також зменшило частоту помилок, тож питання про визначення окремих груп споживачів, які відкривають надмірну кількість сеансів інкрементального вибору, згаданий тут Як перевірити фактичну кількість слотів кеш-пам'яті для інкрементальних сеансів, використаних у кластері Kafka? , може бути безрезультатним.

— hdjur_jcv
джерело