Elasticsearch запит повернути всі записи

У мене є невелика база даних в Elasticsearch, і для цілей тестування я хотів би повернути всі записи назад. Я намагаюся використовувати URL форми ...

http://localhost:9200/foo/_search?pretty=true&q={'matchAll':{''}}

Чи можете мені хтось вказати URL-адресу, яку ви використали для цього?

Я думаю, що синтаксис люцена підтримується так:

http://localhost:9200/foo/_search?pretty=true&q=*:*

розміром за замовчуванням до 10, тому вам також може знадобитися &size=BIGNUMBERотримати більше 10 елементів. (де BIGNUMBER дорівнює числу, яке, на вашу думку, перевищує ваш набір даних)

АЛЕ, elasticsearch документація передбачає для великих наборів результатів, використовуючи скануючий тип пошуку.

EG:

curl -XGET 'localhost:9200/foo/_search?search_type=scan&scroll=10m&size=50' -d '
{
    "query" : {
        "match_all" : {}
    }
}'

а потім продовжуйте запитувати відповідно до наведеного вище посилання на документацію.

EDIT: scanзастарілий у 2.1.0.

scanне надає жодних переваг щодо звичайного scrollзапиту, відсортованого за _doc. посилання на еластичні документи (помічено @ christophe-roussy)

http://127.0.0.1:9200/foo/_search/?size=1000&pretty=1
                                   ^

Зверніть увагу на параметр розміру , який збільшує кількість показів, відображених за замовчуванням (10), до 1000 за фрагмент.

http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/search-request-from-size.html

elasesearch (ES) підтримує як GET, так і POST запит на отримання даних з індексу кластера ES.

Коли ми робимо GET:

http://localhost:9200/[your index name]/_search?size=[no of records you want]&q=*:*

Коли ми робимо пошту:

http://localhost:9200/[your_index_name]/_search
{
  "size": [your value] //default 10
  "from": [your start index] //default 0
  "query":
   {
    "match_all": {}
   }
}   

Я б запропонував використовувати плагін інтерфейсу користувача з електронним пошуком http://mobz.github.io/elasticsearch-head/ Це допоможе вам краще відчути створені вами індекси, а також перевірити свої індекси.

Примітка . Відповідь стосується старішої версії Elasticsearch 0.90. Версії, що випускаються з того часу, мають оновлений синтаксис. Будь ласка, зверніться до інших відповідей, які можуть дати більш точну відповідь на останню відповідь, яку ви шукаєте.

Наведений нижче запит поверне NO_OF_RESULTS, який ви хочете повернути.

curl -XGET 'localhost:9200/foo/_search?size=NO_OF_RESULTS' -d '
{
"query" : {
    "match_all" : {}
  }
}'

Тепер питання тут полягає в тому, що ви хочете повернути всі записи. Отже, природно, перш ніж писати запит, ви не знаєте значення NO_OF_RESULTS .

Як ми можемо знати, скільки записів існує у вашому документі? Просто введіть запит нижче

curl -XGET 'localhost:9200/foo/_search' -d '

Це дасть вам результат, схожий на наведений нижче

 {
hits" : {
  "total" :       2357,
  "hits" : [
    {
      ..................

В результаті загальна сума показує, скільки записів доступні в документі. Отже, це приємний спосіб дізнатися значення NO_OF РЕЗУЛЬТАТІВ

curl -XGET 'localhost:9200/_search' -d ' 

Шукайте всі типи в усіх індексах

curl -XGET 'localhost:9200/foo/_search' -d '

Шукайте всі типи в індексі foo

curl -XGET 'localhost:9200/foo1,foo2/_search' -d '

Шукайте всі типи в індексах foo1 та foo2

curl -XGET 'localhost:9200/f*/_search

Шукайте всі типи в будь-яких індексах, починаючи з f

curl -XGET 'localhost:9200/_all/type1,type2/_search' -d '

Типи пошуку користувач і твіт у всіх індексах

Це найкраще рішення, яке я знайшов за допомогою клієнта python

  # Initialize the scroll
  page = es.search(
  index = 'yourIndex',
  doc_type = 'yourType',
  scroll = '2m',
  search_type = 'scan',
  size = 1000,
  body = {
    # Your query's body
    })
  sid = page['_scroll_id']
  scroll_size = page['hits']['total']

  # Start scrolling
  while (scroll_size > 0):
    print "Scrolling..."
    page = es.scroll(scroll_id = sid, scroll = '2m')
    # Update the scroll ID
    sid = page['_scroll_id']
    # Get the number of results that we returned in the last scroll
    scroll_size = len(page['hits']['hits'])
    print "scroll size: " + str(scroll_size)
    # Do something with the obtained page

https://gist.github.com/drorata/146ce50807d16fd4a6aa

Використання java-клієнта

import static org.elasticsearch.index.query.QueryBuilders.*;

QueryBuilder qb = termQuery("multi", "test");

SearchResponse scrollResp = client.prepareSearch(test)
        .addSort(FieldSortBuilder.DOC_FIELD_NAME, SortOrder.ASC)
        .setScroll(new TimeValue(60000))
        .setQuery(qb)
        .setSize(100).execute().actionGet(); //100 hits per shard will be returned for each scroll
//Scroll until no hits are returned
do {
    for (SearchHit hit : scrollResp.getHits().getHits()) {
        //Handle the hit...
    }

    scrollResp = client.prepareSearchScroll(scrollResp.getScrollId()).setScroll(new TimeValue(60000)).execute().actionGet();
} while(scrollResp.getHits().getHits().length != 0); // Zero hits mark the end of the scroll and the while loop.

https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/java-search-scrolling.html

Elasticsearch стане значно повільнішим, якщо ви просто додасте велику кількість як розмір, одним методом, щоб отримати всі документи, є ідентифікатори сканування та прокрутки.

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-scroll.html

У Elasticsearch v7.2 ви робите це так:

POST /foo/_search?scroll=1m
{
    "size": 100,
    "query": {
        "match_all": {}
    }
}

Результати цього міститимуть _scroll_id, який потрібно запитати, щоб отримати наступні 100 фрагментів.

POST /_search/scroll 
{
    "scroll" : "1m", 
    "scroll_id" : "<YOUR SCROLL ID>" 
}

server:9200/_statsтакож використовуйте для отримання статистичних даних про всі ваші псевдоніми, наприклад, розмір і кількість елементів на псевдонім, це дуже корисно і надає корисну інформацію

Якщо ви хочете витягнути багато тисяч записів, то ... кілька людей дали правильну відповідь за допомогою "прокрутки" (Примітка. Деякі люди також запропонували використовувати "search_type = scan". Це було знято, а в v5.0 видалено. Вам це не потрібно)

Почніть із запиту "пошук", але вкажіть параметр "прокрутки" (тут я використовую 1-хвилинний час очікування):

curl -XGET 'http://ip1:9200/myindex/_search?scroll=1m' -d '
{
    "query": {
            "match_all" : {}
    }
}
'

Це включає вашу першу "групу" хітів. Але ми тут не робимо. Вихід з вищевказаної команди curl буде приблизно таким:

{ "_Scroll_id": "c2Nhbjs1OzUyNjE6NU4tU3BrWi1UWkNIWVNBZW43bXV3Zzs1Mzc3OkhUQ0g3VGllU2FhemJVNlM5d2t0alE7NTI2Mjo1Ti1TcGtaLVRaQ0hZU0FlbjdtdXdnOzUzNzg6SFRDSDdUaWVTYWF6YlU2Uzl3a3RqUTs1MjYzOjVOLVNwa1otVFpDSFlTQWVuN211d2c7MTt0b3RhbF9oaXRzOjIyNjAxMzU3Ow ==", "взяв": 109, "timed_out" брехня "_ Осколки": { "всього": 5, "успішно": 5, "не": 0}, "хіти" : {"всього": 22601357, "max_score": 0.0, "хіти": []}}

Важливо, щоб _scroll_id був під рукою, оскільки наступним слід виконати таку команду:

    curl -XGET  'localhost:9200/_search/scroll'  -d'
    {
        "scroll" : "1m", 
        "scroll_id" : "c2Nhbjs2OzM0NDg1ODpzRlBLc0FXNlNyNm5JWUc1" 
    }
    '

Однак передача scroll_id навколо - це не те, що розроблено вручну. Ваша найкраща ставка - написати код, щоб це зробити. наприклад у java:

    private TransportClient client = null;
    private Settings settings = ImmutableSettings.settingsBuilder()
                  .put(CLUSTER_NAME,"cluster-test").build();
    private SearchResponse scrollResp  = null;

    this.client = new TransportClient(settings);
    this.client.addTransportAddress(new InetSocketTransportAddress("ip", port));

    QueryBuilder queryBuilder = QueryBuilders.matchAllQuery();
    scrollResp = client.prepareSearch(index).setSearchType(SearchType.SCAN)
                 .setScroll(new TimeValue(60000))                            
                 .setQuery(queryBuilder)
                 .setSize(100).execute().actionGet();

    scrollResp = client.prepareSearchScroll(scrollResp.getScrollId())
                .setScroll(new TimeValue(timeVal))
                .execute()
                .actionGet();

Тепер LOOP в останній команді використовуйте SearchResponse для вилучення даних.

Просто! Ви можете використовувати sizeі fromпараметри!

http://localhost:9200/[your index name]/_search?size=1000&from=0

потім ви fromпоступово змінюєте, поки не отримаєте всі дані.

Найкращий спосіб регулювати розмір - це використовувати розмір = число перед URL-адресою

Curl -XGET "http://localhost:9200/logstash-*/_search?size=50&pretty"

Примітка: максимальне значення, яке можна визначити в цьому розмірі, становить 10000. Для будь-якого значення, що перевищує десять тисяч, ви очікуєте використання функції прокрутки, яка мінімізує будь-які шанси впливати на продуктивність.

Ви можете використовувати _countAPI, щоб отримати значення для sizeпараметра:

http://localhost:9200/foo/_count?q=<your query>

Повертається {count:X, ...}. Витягніть значення "X" і виконайте фактичний запит:

http://localhost:9200/foo/_search?q=<your query>&size=X

http: // localhost: 9200 / foo / _search / ? розмір = 1000 & досить = 1

вам потрібно буде вказати параметр запиту щодо розміру, оскільки за замовчуванням дорівнює 10

Параметр розміру збільшує кількість показів, які відображаються з стандартного (10) до 500.

http: // localhost: 9200 / [indexName] / _search? pretty = true & size = 500 & q = *: *

Зміна з крок за кроком , щоб отримати всі дані.

http: // localhost: 9200 / [indexName] / _search? size = 500 & from = 0

Для Elasticsearch 6.x

Запит: GET /foo/_search?pretty=true

Відповідь: У переглядах-> загалом, дайте кількість документів

    {
      "took": 1,
      "timed_out": false,
      "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
      },
      "hits": {
        "total": 1001,
        "max_score": 1,
        "hits": [
          {

Якщо це невеликий набір даних (наприклад, 1K записів) , ви можете просто вказати size:

curl localhost:9200/foo_index/_search?size=1000

Матч всіх запитів не потрібно, так як це мається на увазі.

Якщо у вас набір даних середнього розміру, як-то записи 1М , у вас може не вистачити пам'яті для завантаження, тому вам потрібен прокрутка .

Прокрутка - це як курсор у БД. У програмі Elasticsearch він пам’ятає, де ви зупинилися, і зберігає однаковий вигляд індексу (тобто запобігає пошуку шукача відійти з оновленням , запобігає злиття сегментів ).

API-розумно, вам потрібно додати параметр прокрутки до першого запиту:

curl 'localhost:9200/foo_index/_search?size=100&scroll=1m&pretty'

Ви отримуєте назад першу сторінку та ідентифікатор прокрутки:

{
  "_scroll_id" : "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAADEWbmJlSmxjb2hSU0tMZk12aEx2c0EzUQ==",
  "took" : 0,
...

Пам'ятайте, що і ідентифікатор прокрутки, який ви отримаєте назад, і час очікування дійсні для наступної сторінки . Поширена помилка тут полягає в тому, щоб вказати дуже великий час очікування (значення scroll), який охоплював би обробку всього набору даних (наприклад, 1М записів) замість однієї сторінки (наприклад, 100 записів).

Щоб отримати наступну сторінку, заповніть останній ідентифікатор прокрутки та час очікування, який повинен тривати до отримання наступної сторінки:

curl -XPOST -H 'Content-Type: application/json' 'localhost:9200/_search/scroll' -d '{
  "scroll": "1m",
  "scroll_id": "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAADAWbmJlSmxjb2hSU0tMZk12aEx2c0EzUQ=="
}'

Якщо вам потрібно багато експортувати (наприклад, 1B документів) , вам потрібно паралелізувати. Це можна зробити за допомогою нарізаного прокрутки . Скажіть, що ви хочете експортувати на 10 потоків. Перший потік видасть такий запит:

curl -XPOST -H 'Content-Type: application/json' 'localhost:9200/test/_search?scroll=1m&size=100' -d '{
  "slice": {
    "id": 0, 
    "max": 10 
  }
}'

Ви отримуєте назад першу сторінку та ідентифікатор прокрутки, точно як звичайний запит на прокрутку. Ви б споживали його точно як звичайний прокруток, за винятком того, що ви отримуєте 1/10 частини даних.

Інші потоки зробили б те саме, за винятком id1, 2, 3 ...

curl -X GET 'localhost:9200/foo/_search?q=*&pretty' 

За замовчуванням Elasticsearch повертає 10 записів, тому розмір повинен бути наданий явно.

Додайте розмір із запитом, щоб отримати бажану кількість записів.

http: // {host}: 9200 / {index_name} / _search? pretty = true & size = (кількість записів)

Примітка: Максимальний розмір сторінки не може перевищувати значення параметра index.max_result_window, яке за замовчуванням становить 10 000.

Від Kibana DevTools це:

GET my_index_name/_search
{
  "query": {
    "match_all": {}
  }
}

Просте рішення з використанням пакету python elasticsearch-dsl :

from elasticsearch_dsl import Search
from elasticsearch_dsl import connections

connections.create_connection(hosts=['localhost'])

s = Search(index="foo")
response = s.scan()

count = 0
for hit in response:
    # print(hit.to_dict())  # be careful, it will printout every hit in your index
    count += 1

print(count)

Дивіться також https://elasticsearch-dsl.readthedocs.io/en/latest/api.html#elasticsearch_dsl.Search.scan .

Максимальний результат, який повернеться у програміustiSearch, - 10000, надавши розмір

curl -XGET 'localhost:9200/index/type/_search?scroll=1m' -d '
{
   "size":10000,
   "query" : {
   "match_all" : {}
    }
}'

Після цього вам потрібно скористатися API прокрутки, щоб отримати результат, отримати значення _scroll_id і поставити це значення в scroll_id

curl -XGET  'localhost:9200/_search/scroll'  -d'
{
   "scroll" : "1m", 
   "scroll_id" : "" 
}'

Офіційна документація дає відповідь на це питання! ви можете знайти його тут .

{
  "query": { "match_all": {} },
  "size": 1
}

Ви просто замінюєте розмір (1) на кількість результатів, які хочете побачити!

Щоб повернути всі записи з усіх індексів, ви можете:

curl -XGET http://35.195.120.21:9200/_all/_search?size=50&pretty

Вихід:

  "took" : 866,
  "timed_out" : false,
  "_shards" : {
    "total" : 25,
    "successful" : 25,
    "failed" : 0
  },
  "hits" : {
    "total" : 512034694,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "grafana-dash",
      "_type" : "dashboard",
      "_id" : "test",
      "_score" : 1.0,
       ...

curl -XGET '{{IP/localhost}}:9200/{{Index name}}/{{type}}/_search?scroll=10m&pretty' -d '{
"query": {
"filtered": {
"query": {
"match_all": {}
}}'

Ніхто, крім @Akira Sendoh не відповів, як насправді отримати ВСІ документи. Але навіть це рішення розбиває мою службу ES 6.3 без журналів. Єдине, що працювало для мене, використовуючи elasticsearch-pyбібліотеку низького рівня, - це помічник сканування, який використовує scroll()api:

from elasticsearch.helpers import scan

doc_generator = scan(
    es_obj,
    query={"query": {"match_all": {}}},
    index="my-index",
)

# use the generator to iterate, dont try to make a list or you will get out of RAM
for doc in doc_generator:
    # use it somehow

Однак, на сьогоднішній день, як видається, більш чистий спосіб здійснюється через elasticsearch-dslбібліотеку, яка пропонує більш абстрактні, чистіші дзвінки, наприклад: http://elasticsearch-dsl.readthedocs.io/en/latest/search_dsl.html#hits

Якщо все-таки хтось шукає, щоб усі дані були отримані з Elasticsearch, як я для деяких випадків використання, ось що я зробив. Більше того, всі дані означає, всі індекси та всі типи документів. Я використовую Elasticsearch 6.3

curl -X GET "localhost:9200/_search?pretty=true" -H 'Content-Type: application/json' -d'
{
    "query": {
        "match_all": {}
    }
}
'

Еластична посилання на дослідження

це запит, щоб виконати те, що ви хочете, (я пропоную використовувати Kibana, оскільки це допомагає зрозуміти запити краще)

GET my_index_name/my_type_name/_search
{
   "query":{
      "match_all":{}
   },
   size : 20,
   from : 3
}

щоб отримати всі записи, ви повинні використовувати запит "match_all".

розмір - це кількість записів, які ви хочете отримати (вид обмеження). за замовчуванням ES поверне лише 10 записів

з - це як пропустити, пропустити перші 3 записи.

Якщо ви хочете отримати всі записи, просто використовуйте значення з поля "загальний" з результату, як тільки ви натиснете цей запит від Кібана, і використовуйте його з "розміром".

Використання Elasticsearch 7.5.1

http://${HOST}:9200/${INDEX}/_search?pretty=true&q=*:*&scroll=10m&size=5000

якщо ви також можете вказати розмір масиву за допомогою & size = $ {number}

якщо ви не знаєте, що ви індексуєте

http://${HOST}:9200/_cat/indices?v

Використання консолі kibana та my_index в якості індексу для пошуку наступного. Попросивши індекс повернути лише 4 поля індексу, ви також можете додати розмір, щоб вказати, скільки документів, які ви хочете повернути індексом. З ES 7.6 ви повинні використовувати _source, а не фільтрувати, він відповість швидше.

GET /address/_search
 {
   "_source": ["streetaddress","city","state","postcode"],
   "size": 100,
   "query":{
   "match_all":{ }
    }   
 }

Ви можете використовувати size = 0, це поверне вам усі приклади документів

curl -XGET 'localhost:9200/index/type/_search' -d '
{
   size:0,
   "query" : {
   "match_all" : {}
    }
}'