Імпортуйте / проіндексуйте файл JSON у Elasticsearch

Я новачок у Elasticsearch і до цього моменту вводив дані вручну. Наприклад, я зробив щось подібне:

$ curl -XPUT 'http://localhost:9200/twitter/tweet/1' -d '{
    "user" : "kimchy",
    "post_date" : "2009-11-15T14:12:12",
    "message" : "trying out Elastic Search"
}'

Тепер у мене є файл .json, і я хочу індексувати його в Elasticsearch. Я теж пробував щось подібне, але успіху немає:

curl -XPOST 'http://jfblouvmlxecs01:9200/test/test/1' -d lane.json

Як імпортувати файл .json? Чи потрібно робити перші кроки, щоб переконатися, що відображення правильне?

Правильна команда, якщо ви хочете використовувати файл із curl, така:

curl -XPOST 'http://jfblouvmlxecs01:9200/test/_doc/1' -d @lane.json

Elasticsearch не має схеми, тому вам не обов’язково потрібне відображення. Якщо ви надішлете файл json таким, який він є, і використовуєте відображення за замовчуванням, кожне поле буде проіндексовано та проаналізовано за допомогою стандартного аналізатора .

Якщо ви хочете взаємодіяти з Elasticsearch через командний рядок, ви можете поглянути на elastichell, який повинен бути трохи зручнішим, ніж curl.

2019-07-10: Слід зазначити, що власні типи зіставлення застаріли та не повинні використовуватися. Я оновив тип у вказаній вище URL-адресі, щоб було легше зрозуміти, що таке індекс, а який тип, оскільки наявність обох назв "тест" заплутало.

Відповідно до поточних документів, https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-bulk.html :

Якщо ви надаєте введення текстового файлу для завивки, ви повинні використовувати прапорець --data-binary замість plain -d. Останній не зберігає нові рядки.

Приклад:

$ curl -s -XPOST localhost:9200/_bulk --data-binary @requests

Ми зробили невеликий інструмент для такого типу речей https://github.com/taskrabbit/elasticsearch-dump

Я автор elasticsearch_loader,
я написав ESL саме для цієї проблеми.

Ви можете завантажити його за допомогою pip:

pip install elasticsearch-loader

І тоді ви зможете завантажувати файли JSON у еластичний пошук, видаючи:

elasticsearch_loader --index incidents --type incident json file1.json file2.json

Додавання до відповіді KenH

$ curl -s -XPOST localhost:9200/_bulk --data-binary @requests

Ви можете замінити @requestsна@complete_path_to_json_file

Примітка: @важливо перед шляхом до файлу

Одного я не бачив, щоб хтось згадував: файл JSON повинен мати один рядок із зазначенням індексу, до якого належить наступний рядок, для кожного рядка "чистого" файлу JSON.

IE

{"index":{"_index":"shakespeare","_type":"act","_id":0}}
{"line_id":1,"play_name":"Henry IV","speech_number":"","line_number":"","speaker":"","text_entry":"ACT I"}

Без цього нічого не працює, і це не скаже вам, чому

Я просто переконався, що перебуваю в тому ж каталозі, що і файл json, а потім просто запустив це

curl -s -H "Content-Type: application/json" -XPOST localhost:9200/product/default/_bulk?pretty --data-binary @product.json

Тож якщо ви теж переконайтесь, що знаходитесь в одному каталозі, і запустіть його таким чином. Примітка: product / default / в команді є чимось специфічним для мого середовища. ви можете пропустити це або замінити на те, що стосується вас.

просто дістаньте листоношу з https://www.getpostman.com/docs/environments і надайте йому розташування файлу за допомогою команди / test / test / 1 / _bulk? pretty.

Ви використовуєте

$ curl -s -XPOST localhost:9200/_bulk --data-binary @requests

Якщо `` запити '' є файлом json, то вам доведеться змінити це на

$ curl -s -XPOST localhost:9200/_bulk --data-binary @requests.json

Тепер перед цим, якщо ваш файл json не проіндексований, вам потрібно вставити рядок індексу перед кожним рядком усередині файлу json. Ви можете зробити це за допомогою JQ. Посилання нижче: http://kevinmarsh.com/2014/10/23/using-jq-to-import-json-into-elasticsearch.html

Перейдіть до підручників elasticsearch (приклад підручника Шекспіра) і завантажте використаний зразок файлу json і подивіться на нього. Перед кожним об'єктом json (кожним окремим рядком) є рядок індексу. Це те, що ви шукаєте після використання команди jq. Цей формат є обов'язковим для використання масового API, звичайні файли json не працюють.

Починаючи з Elasticsearch 7.7, ви також повинні вказати тип вмісту:

curl -s -H "Content-Type: application/json" -XPOST localhost:9200/_bulk --data-binary @<absolute path to JSON file>

якщо ви використовуєте в ньому VirtualBox та UBUNTU, або ви просто використовуєте UBUNTU, тоді це може бути корисно

wget https://github.com/andrewvc/ee-datasets/archive/master.zip
sudo apt-get install unzip (only if unzip module is not installed)
unzip master.zip
cd ee-datasets
java -jar elastic-loader.jar http://localhost:9200 datasets/movie_db.eloader

Я написав деякий код, щоб виставити API Elasticsearch через API файлової системи.

Це гарна ідея для чіткого експорту / імпорту даних, наприклад.

Я створив прототип еластичного драйвера . Він заснований на FUSE

• Якщо ви використовуєте еластичний пошук 7.7 або новішої версії, то виконуйте команду нижче.

  curl -H "Content-Type: application/json" -XPOST "localhost:9200/bank/_bulk? pretty&refresh" --data-binary @"/Users/waseem.khan/waseem/elastic/account.json"

• Угорі шлях до файлу - /Users/waseem.khan/waseem/elastic/account.json.

• Якщо ви використовуєте еластичну версію 6.x, тоді ви можете скористатися наведеною нижче командою.

curl -X POST localhost:9200/bank/_bulk?pretty&refresh --data-binary @"/Users/waseem.khan/waseem/elastic/account.json" -H 'Content-Type: application/json'

Примітка : Переконайтеся, що у своєму .json- файлі в кінці ви додасте один порожній рядок, інакше ви отримаєте нижче винятку.

"error" : {
"root_cause" : [
  {
    "type" : "illegal_argument_exception",
    "reason" : "The bulk request must be terminated by a newline [\n]"
  }
],
"type" : "illegal_argument_exception",
"reason" : "The bulk request must be terminated by a newline [\n]"
},
`enter code here`"status" : 400