Що визначає компенсацію споживачів Kafka?

Я відносно новий в Кафці. Я трохи експериментував з цим, але мені кілька незрозумілих щодо компенсації споживачів. З того, що я зрозумів до цього часу, коли споживач запускає, зміщення, з якого він почне читати, визначається налаштуваннями конфігурації auto.offset.reset(виправте мене, якщо я помиляюся).

Тепер скажімо, наприклад, що в темі є 10 повідомлень (компенсації від 0 до 9), і споживач трапив їх 5, перш ніж він знизився (або до того, як я вбив споживача). Тоді скажіть, що я запускаю цей споживчий процес. Мої запитання:

1. Якщо значення auto.offset.resetвстановлено smallest, чи завжди він починає споживати з компенсації 0?

2. Якщо значення auto.offset.resetвстановлено largest, чи почне він споживати з компенсації 5?

3. Чи завжди поведінка щодо подібного сценарію детермінована?

Будь ласка, не соромтесь коментувати, якщо щось у моєму питанні незрозуміле. Заздалегідь спасибі.

Це трохи складніше, ніж ви описали.
У auto.offset.resetконфігурації стусани в тільки якщо ваша група споживачів не має дійсне зміщення покінчило де - то (2 підтримуються офсетні сховища тепер Кафка і Zookeeper), і це також залежить від того , якого споживача ви використовуєте.

Якщо ви користуєтесь споживачем java високого рівня, тоді уявіть наступні сценарії:

1. У вас є споживач групи споживачів group1, який спожив 5 повідомлень і помер. Наступного разу, коли ви запускаєте цього споживача, він навіть не буде використовувати цей auto.offset.resetконфігурацію і продовжить місце, де він загинув, оскільки він просто отримає збережене зміщення зі зміщеного сховища (Kafka або ZK, як я вже згадував).

2. У вас є повідомлення в темі (як ви описали), і ви запускаєте споживача в новій групі споживачів group2. Зсув ніде не зберігається, і цього разу auto.offset.resetконфігуратор вирішить, чи слід починати з початку теми ( earliest) або з кінця теми ( latest)

Ще одна річ, яка впливає на те, яким значенням зміщення відповідатиме earliestта latestналаштовує, - це політика збереження журналу. Уявіть, що у вас тема із затримкою налаштована на 1 годину. Ви створюєте 5 повідомлень, а потім через годину ви публікуєте ще 5 повідомлень. latestЗсув буде по- , як і раніше залишаються такими ж , як і в попередньому прикладі , але earliestодин не зможе бути 0тому , що Кафка вже видалити ці повідомлення і , таким чином , найбільш ранній доступний офсетних буде 5.

Все, що було сказано вище, не пов’язане з цим, SimpleConsumerі кожен раз, коли ви його запустите, він вирішить, з чого почати використовувати auto.offset.resetконфігурацію.

Якщо ви використовуєте Кафка версії старше 0.9, ви повинні замінити earliest, latestз smallest, largest.

Просто оновлення: починаючи з Kafka 0.9 і далі, Kafka використовує нову версію Java для споживача, а назви параметрів auto.offset.reset змінилися; З посібника:

Що робити, коли у Kafka немає початкового зміщення або якщо поточного зміщення більше не існує на сервері (наприклад, через те, що дані були видалені):

раннє : автоматично скидає зсув до найбільш раннього зміщення

останнє : автоматично скинути зсув до останнього зміщення

немає : киньте виняток для споживача, якщо не знайдено попереднього компенсації для групи споживачів

нічого іншого: киньте виняток споживачеві.

Я витратив деякий час, щоб знайти це після перевірки прийнятої відповіді, тому я подумав, що громаді може бути корисно опублікувати її.

Далі більше є offsets.retention.minutes. Якщо час з моменту останньої фіксації> offsets.retention.minutes, тоді auto.offset.resetтакож починається