Як шукати частину слова за допомогою ElasticSearch

Нещодавно я почав використовувати ElasticSearch і, здається, не можу змусити його шукати частину слова.

Приклад: у мене є три документи з мого couchdb, індексованого в ElasticSearch:

{
  "_id" : "1",
  "name" : "John Doeman",
  "function" : "Janitor"
}
{
  "_id" : "2",
  "name" : "Jane Doewoman",
  "function" : "Teacher"
}
{
  "_id" : "3",
  "name" : "Jimmy Jackal",
  "function" : "Student"
} 

Тому зараз я хочу шукати всі документи, що містять "Doe"

curl http://localhost:9200/my_idx/my_type/_search?q=Doe

Це не повертає жодного звернення. Але якщо я шукаю

curl http://localhost:9200/my_idx/my_type/_search?q=Doeman

Він повертає один документ (Джон Доман).

Я спробував встановити різні аналізатори та різні фільтри як властивості мого індексу. Я також спробував використати повноцінний запит (наприклад:

{
  "query": {
    "term": {
      "name": "Doe"
    }
  }
}

) Але, здається, нічого не працює.

Як я можу змусити ElasticSearch знайти Джона Домана і Джейн Доевоман, коли я шукаю "Doe"?

ОНОВЛЕННЯ

Я намагався використовувати токенізатор і фільтр nGram, як запропонував Ігор:

{
  "index": {
    "index": "my_idx",
    "type": "my_type",
    "bulk_size": "100",
    "bulk_timeout": "10ms",
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "type": "custom",
          "tokenizer": "my_ngram_tokenizer",
          "filter": [
            "my_ngram_filter"
          ]
        }
      },
      "filter": {
        "my_ngram_filter": {
          "type": "nGram",
          "min_gram": 1,
          "max_gram": 1
        }
      },
      "tokenizer": {
        "my_ngram_tokenizer": {
          "type": "nGram",
          "min_gram": 1,
          "max_gram": 1
        }
      }
    }
  }
}

Зараз у мене проблема полягає в тому, що кожен запит повертає ВСІ документи. Якісь покажчики? Документація ElasticSearch щодо використання nGram не велика ...

Я також використовую nGram. Я використовую стандартний токенізатор і nGram просто як фільтр. Ось моя настройка:

{
  "index": {
    "index": "my_idx",
    "type": "my_type",
    "analysis": {
      "index_analyzer": {
        "my_index_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "mynGram"
          ]
        }
      },
      "search_analyzer": {
        "my_search_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "standard",
            "lowercase",
            "mynGram"
          ]
        }
      },
      "filter": {
        "mynGram": {
          "type": "nGram",
          "min_gram": 2,
          "max_gram": 50
        }
      }
    }
  }
}

Давайте знайдемо частини слова розміром до 50 літер. Налаштуйте max_gram, як вам потрібно. Німецькою мовою слова можуть стати справді великими, тому я ставлю це на високе значення.

Пошук за допомогою провідних та останніх макіяжів буде вельми повільним за великим показником. Якщо ви хочете мати можливість пошуку за префіксом слова, видаліть провідну підстановку. Якщо вам дійсно потрібно знайти підрядку в середині слова, вам краще використовувати ngram токенізатор.

Я думаю, не потрібно змінювати жодне відображення. Спробуйте використовувати query_string , це ідеально. Усі сценарії працюватимуть із стандартним аналізатором за замовчуванням:

У нас є дані:

{"_id" : "1","name" : "John Doeman","function" : "Janitor"}
{"_id" : "2","name" : "Jane Doewoman","function" : "Teacher"}

Сценарій 1:

{"query": {
    "query_string" : {"default_field" : "name", "query" : "*Doe*"}
} }

Відповідь:

{"_id" : "1","name" : "John Doeman","function" : "Janitor"}
{"_id" : "2","name" : "Jane Doewoman","function" : "Teacher"}

Сценарій 2:

{"query": {
    "query_string" : {"default_field" : "name", "query" : "*Jan*"}
} }

Відповідь:

{"_id" : "1","name" : "John Doeman","function" : "Janitor"}

Сценарій 3:

{"query": {
    "query_string" : {"default_field" : "name", "query" : "*oh* *oe*"}
} }

Відповідь:

{"_id" : "1","name" : "John Doeman","function" : "Janitor"}
{"_id" : "2","name" : "Jane Doewoman","function" : "Teacher"}

EDIT - однакова реалізація з пружинними даними еластичного пошуку https://stackoverflow.com/a/43579948/2357869

Ще одне пояснення того, як query_string кращий за інші https://stackoverflow.com/a/43321606/2357869

не змінюючи відображення індексів, ви можете виконати простий запит префікса, який виконає частковий пошук, як ви сподіваєтесь

тобто.

{
  "query": { 
    "prefix" : { "name" : "Doe" }
  }
}

https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-prefix-query.html

Спробуйте рішення, описане тут: Точні пошукові підрядки в ElasticSearch

{
    "mappings": {
        "my_type": {
            "index_analyzer":"index_ngram",
            "search_analyzer":"search_ngram"
        }
    },
    "settings": {
        "analysis": {
            "filter": {
                "ngram_filter": {
                    "type": "ngram",
                    "min_gram": 3,
                    "max_gram": 8
                }
            },
            "analyzer": {
                "index_ngram": {
                    "type": "custom",
                    "tokenizer": "keyword",
                    "filter": [ "ngram_filter", "lowercase" ]
                },
                "search_ngram": {
                    "type": "custom",
                    "tokenizer": "keyword",
                    "filter": "lowercase"
                }
            }
        }
    }
}

Для того, щоб вирішити проблему використання дискового простору і занадто довгий термін пошуку проблему короткий довгі 8 символів ngrams використовуються (конфігурація «max_gram»: 8 ). Щоб шукати терміни з більш ніж 8 символами, перетворіть свій пошук у логічний І запит, шукаючи кожну окрему 8-символьну підрядку в цьому рядку. Наприклад, якщо користувач здійснив пошук у великому дворі (10-символьна рядок), пошук буде таким:

"arge ya І arge yar AND rge двору .

Якщо ви хочете реалізувати функцію автозаповнення, то програму завершення пропозицій є найбільш акуратним рішенням. Наступна публікація в блозі містить дуже чіткий опис того, як це працює.

У двох словах, це структура даних в пам'яті, яка називається FST, яка містить дійсні пропозиції та оптимізована для швидкого пошуку та використання пам'яті. По суті, це просто графік. Наприклад, і FST , що містить слово hotel, marriot, mercure, munchenі munichбуде виглядати наступним чином :

ви можете використовувати regexp.

{ "_id" : "1", "name" : "John Doeman" , "function" : "Janitor"}
{ "_id" : "2", "name" : "Jane Doewoman","function" : "Teacher"  }
{ "_id" : "3", "name" : "Jimmy Jackal" ,"function" : "Student"  } 

якщо ви використовуєте цей запит:

{
  "query": {
    "regexp": {
      "name": "J.*"
    }
  }
}

Ви отримаєте всі дані, що їх ім’я починається з "J". Подумайте, що ви хочете отримати лише перші два записи, що їх ім'я закінчується на "man", щоб ви могли використовувати цей запит:

{
  "query": { 
    "regexp": {
      "name": ".*man"
    }
  }
}

і якщо ви хочете отримати весь запис про те, що в їх імені існує "m", ви можете використовувати цей запит:

{
  "query": { 
    "regexp": {
      "name": ".*m.*"
    }
  }
}

Це працює для мене. І я сподіваюся, що моя відповідь буде придатною для вирішення вашої проблеми.

Використання wilcards (*) запобігає вирахуванню рахунку

Я використовую це, і я працював

"query": {
        "query_string" : {
            "query" : "*test*",
            "fields" : ["field1","field2"],
            "analyze_wildcard" : true,
            "allow_leading_wildcard": true
        }
    }

Не звертай уваги.

Довелося подивитися документацію на люцені. Здається, я можу використовувати символи! :-)

curl http://localhost:9200/my_idx/my_type/_search?q=*Doe*

робить трюк!