Еластичний пошук вмирає, коли Logstash намагається записати дані


9

У мене встановлено програму Raspberry Pi 2 (остання Raspbian станом на квітень 2015 р.), Яка минулого тижня працювала в тестовій мережі як ElasticSearch, так і Logstash (це не просте налаштування, але воно було стабільним більше тижня!). Я перезавантажив свою машину сьогодні і мав справді важкий час, щоб знову почати працювати; ES і LS обидва працюватимуть незалежно, але коли я намагаюся висунути LS-вихід у ES, екземпляр ES гине без пояснень. Моя мета - отримати як запущені, так і LS перекачування даних в ES через стандартний вихідний плагін.

ElasticSearch [v1.5.0]

Я вважаю, що саме тут є основна проблема. ES може запускатися через service elasticsearch startі продовжує працювати, він доступний через HTTP-запити до порту 9200, і всі ознаки життя здаються здоровими. Як тільки що - то (що - небудь, наскільки я можу сказати) намагається запис даних в індекс, процес штампи і журнали налагодження @ / вар / Журнал / elasticsearch / * не містить нічого , пов'язане з недостатністю послуг. Я спробував вставити через logstash (див. Нижче), а також за допомогою curl, обидва вони припиняють процес ES. Команда curl, яку я виконую, - це curl -XPOST "http://localhost:9200/logstash-2015.04.05/records/" -d "{ \"type\" : \"specialRecord\" }".

Logstash [v1.4.2]

Я зараз працюю з цим простим конфігурацією:

input {
    stdin { }
}

output {
        stdout { codec => rubydebug }
        elasticsearch {
                host => '127.0.0.1'
                cluster => 'elasticsearch'
        }
}

Інші примітки

Деякі речі, які я спробував:

  • Я спробував підняти рівні реєстрації для ElasticSearch до DEBUG / TRACE, і результат є надзвичайно нецікавим. Раді надати журнали, якщо це буде корисно.

  • Я спробував дати ES 256MB та 512MB купи місця, що, схоже, ні на що не впливає. Я також спостерігав за використанням пам'яті протягом усього цього і не вистачало пам’яті, здається, не проблема.

  • Я намагався відключити багатоадресну передачу, щоб спробувати вилучити купу мережевих змінних, але це, схоже, не мало значення.

  • Я переконався, що в каталозі даних для ES є багато місця, дозволи на запис тощо. ES створює підкаталоги в path.dataкаталозі, коли він завантажений, але я не вірю, що нічого додано, оскільки коли я перезавантажую процес ES, статистичні дані індексу підказують, що загальна кількість документів дорівнює нулю.

Зараз я досить спотикаючись і розчарований, що нічого, що мені потрібно (або принаймні вмію знайти), не реєструється. Будь-які ідеї щодо того, що може відбуватися тут?


Якщо ви не отримуєте нічого корисного з журналів, єдиний варіант (крім компіляції з джерела та додавання більше заяв про налагодження), схоже, використовує strace для перегляду системних викликів. Це може дати вам підказку, чому вмирає еластичний пошук. Щоб зменшити гучність, почніть як звичайно, а потім напружте процес запуску безпосередньо перед початком запису.
Пол Халдейн

Збій без жодних журналів нагадує мені про проблеми JNI, чи не існує дамп-процесу JVM ( hs_err_PID.log)? ES 1.5 використовує для моніторингу вбудовану бібліотеку під назвою Sigar, вона може мати проблеми з ARM Raspberry. Чи можете ви спробувати запустити Сігар самостійно? Я б спробував оновити до ES 1.5.2 або ES 2.0, які вже не використовують Sigar.
G Quintana

Ви вимкнули своп?
Гуркіт

Elasticsearch рекомендує почати з 8G таран. Я колись запускав його на Raspberry Pi 3. Це працює, але вам потрібно бути трохи обережнішими зі швидкістю надсилання даних, а також запити можуть зайняти деякий час.
webwurst

Відповіді:


1

Вам потрібно більше обладнання

Ваш розпій може бути (значно) заряджений для вашого робочого навантаження.

Я жодним чином не є експертом Elasticstack, але я встановив це в декількох тестових сценаріях і для обмеженого / легкого використання виробництва. На мій досвід, тоді як початкова установка вимагає відносно мало ресурсів, оскільки кількість індексів зростає, система генерує значно більше завантаження дискового вводу та процесора.

Це особливо очевидно після перезавантаження, коли система відновлює осколки. Якщо ваші індекси не надто великі, ви можете розглянути щомісячні відра замість щоденних відер за замовчуванням, що, здається, допоможе в цьому плані.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.