Elasticsearch 多字段特性及Mapping中配置自定义Analyzer

• Elasticsearch 多字段特性及Mapping中配置自定义Analyzer
  • 多字段类型
    • 多字段特性
    • 使用不同的analyzer
  • Exact Values vs Full Text（精确值与纯文本）
    • Exact Values (精确值) (keyword)
    • Full Text（纯文本）(text)
  • Exact Values 不需要被分词
  • 自定义分词器
    • Character Filters
    • Tokenizer
    • Token Filters
  • 自定义分词器

多字段类型

多字段特性

使用不同的analyzer

1. 使用不同的语言进行搜索
2. 也可以使用拼音字段的搜索
3. 还支持为搜索和索引指定不通的 analyzer

Exact Values vs Full Text（精确值与纯文本）

Exact Values (精确值) (keyword)

Full Text（纯文本）(text)

Exact Values 不需要被分词

自定义分词器

• Character Filter
• Tokenizer
• Token Filter

Character Filters

在 Tokenizer 之前对文本进行处理，例如增加删除及替换字符串。可以配置多个Character Filters。会影响 Tokenizer 的 position 和 offset 信息。
一些自带的 Character Filters 有：

• HTML strip - 去除 html 标签

  #不做分词处理的tokenizer
  #char_filter 中html_strip把html元素给剥离掉了
  POST _analyze
  {
  "tokenizer":"keyword",
  "char_filter":["html_strip"],
  "text": "<b>hello world</b>"
  }

  结果：

  {
  "tokens" : [
   {
     "token" : "hello world",
     "start_offset" : 3,
     "end_offset" : 18,
     "type" : "word",
     "position" : 0
   }
  ]
  }

• Mapping - 字符串替换

  #使用char filter进行替换
  #这里将文本中的-替换成_
  POST _analyze
  {
  "tokenizer": "standard",
  "char_filter": [
     {
       "type" : "mapping",
       "mappings" : [ "- => _"]
     }
   ],
  "text": "123-456, I-test! test-990 650-555-1234"
  }

  结果：
  

• 还可以替换表情哟！比如下面的代码我将:>换成happy,:<换成sad嘻嘻嘻。。。

  //char filter 替换表情符号
  POST _analyze
  {
  "tokenizer": "standard",
  "char_filter": [
      {
        "type" : "mapping",
        "mappings" : [ ":> => happy", ":< => sad"]
      }
    ],
    "text": ["I am felling :>", "Feeling :< today"]
  }

  结果:
  

• Pattern replace - 正则匹配替换 (这里我们通过正则去掉http://)

  //正则表达式
  GET _analyze
  {
  "tokenizer": "standard",
  "char_filter": [
      {
        "type" : "pattern_replace",
        "pattern" : "http://(.*)",
        "replacement" : "$1"
      }
    ],
    "text" : "http://www.elastic.co"
  }

  结果:
  

Tokenizer

• 将原始的文本按照一定的规则，切分为词（term or token）
• Elasticsearch 内置的 Tokenizers
  • whitespace / standard / uax_url_email / patterm /keyword /path hierarchy
• 可以用 Java 开发插件，实现自己的 Tokenizer

Token Filters

• 将 Tokenizer 输出的单词（term），进行增加，修改，删除
• 自带的 Token Filters
  • Lowercase / stop / synonym （添加近义词）

POST _analyze
{
  "tokenizer":"path_hierarchy",
  "text":"/user/ymruan/a/b/c/d/e"
}

结果：

// white space and snowball
GET _analyze
{
  "tokenizer": "whitespace",
  "filter": ["stop","snowball"],
  "text": ["The gilrs in China are played this game!"]
}
// whitespace与stop
GET _analyze
{
  "tokenizer": "whitespace",
  "filter": ["stop","snowball"],
  "text": ["The rain in Spain falls mainly on the plain."]
}
//remove 加入lowercase后，The被当成 stopword删除
GET _analyze
{
  "tokenizer": "whitespace",
  "filter": ["lowercase","stop","snowball"],
  "text": ["The gilrs in China are playing this game!"]
}

结果（1）：

结果（2）：

结果（3）：

自定义分词器

自定义分析器标准格式是：
PUT /my_index
{
    "settings": {
        "analysis": {
            "char_filter": { ... custom character filters ... },//字符过滤器
            "tokenizer": { ... custom tokenizers ... },//分词器
            "filter": { ... custom token filters ... }, //词单元过滤器
            "analyzer": { ... custom analyzers ... }
        }
    }
}

PUT my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_custom_analyzer" : {
          "type": "custom",
          "char_filter":[
            "emoticons"
          ],
          "tokenizer":"punctuation",
          "filter":[
            "lowercase",
            "english_stop"
          ]
        }
      },
      "tokenizer": {
        "punctuation": {
          "type" : "pattern",
          "pattern" : "[ .,!?]"//有个空格
        }
      },
      "char_filter": {
        "emoticons": {
          "type" : "mapping",
          "mappings" : [ ":) => _happy_", ":( => _sad_"]
        }
      },
      "filter": {
        "english_stop" : {
          "type" : "stop",
          "stopwords" : "_english_"
        }
      }
    }
  }
}

使用一下

POST my_index/_analyze
{
  "analyzer": "my_custom_analyzer",
  "text": "I'm a :) person, and you"
}

结果