Solr 6.7学习笔记（02）-- 配置文件 managed-schema (schema.xml) - Analyzer, tokenizer（4）

有些时候，我们需要自定义 fieldType。下面的例子就是自定义的 fieldType，<analyzer type="index"> 表示索引时怎么处理，<analyzer type="query">表示查询时怎么处理。

<fieldType name="text_general" class="solr.TextField" positionIncrementGap="100">
      <analyzer type="index">
        <tokenizer class="solr.StandardTokenizerFactory"/>
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
        <!-- 本例中，我们只在查询时应用同义词
        <filter class="solr.SynonymFilterFactory" synonyms="index_synonyms.txt" ignoreCase="true" expand="false"/>
        -->
        <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
      <analyzer type="query">
        <tokenizer class="solr.StandardTokenizerFactory"/>
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
        <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
        <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
    </fieldType>

tokenizer: 对输入流进行分词。这里的“solr.” 代表：org.apache.solr.analysis. 这个包

filter: 对tokenizer输出的每一个分词，进行处理。

Tokenizer

1. solr.StandardTokenizerFactory

把文本用空格和标点符号分割。对于小数点（.），如果后面不是空格的话，将会被保留。如网址。连字符（-）的两边会被分割成两个分词（token）。

参数：maxTokenLength  分词的最大长度，超出部分将被忽略。

example:

<analyzer>
    <tokenizer class="solr.StandardTokenizerFactory" maxTokenLength="100"/>
</analyzer>

输入：   Please email john.doe@foo.com by 03-09, re: m37-xq.

输出：   "Please", "email", "john.doe", "foo.com", "by", "03", "09", "re", "m37", "xq"

2. solr.ClassicTokenizerFactory

跟StardardTokenizerFactory差不多，不同点如下：

（1）连字符（-）两边如果有数字的话，将不会被拆分。

（2）能识别邮件地址

参数：maxTokenLength  分词的最大长度，超出部分将被忽略。

示例：

输入：   Please email john.doe@foo.com by 03-09, re: m37-xq.

输出：   "Please", "email", "john.doe@foo.com", "by", "03-09", "re", "m37-xq"

3. solr.KeywordTokenizerFactory

整个文本做为一个分词。

示例：

输入：   Please email john.doe@foo.com by 03-09, re: m37-xq.

输出：   “Please email john.doe@foo.com by 03-09, re: m37-xq"

4. solr.LetterTokenizerFactory

连续的字母做为一个分词。

示例：

输入：   I can't.

输出：   “I", "can", "t"

5. solr.LowerCaseTokenizerFactory

按非字母进行分词，并转化成小写。

示例：

输入：   I LOVE my iPhone.

输出：   “I", "love", "my", "iphone"

6. solr.NGramTokenizerFactory

对文本按照 n-Gram 进行分词。

参数：minGramSize (default 1) -- 必须 > 0

maxGramSize (default 2) -- 必须 >= minGramSize

示例：

输入：   hey man

输出：   “h", "e", "y", " ", “m", "a", "n", "he", “ey", "y ", " m", "ma", "an"

7. solr.EdgeNGramTokenizerFactory

对文本按照 n-Gram 进行分词。

参数：minGramSize (default 1) -- 必须 > 0

maxGramSize (default 1) -- 必须 >= minGramSize

side (default "front") -- "front" or "back"

示例：

输入：   babaloo

输出(default)：   “b"

输出(minGramSize=2, maxGramSize=5)："ba", "bab", "baba", "babal"

8. solr.ICUTokenizerFactory

对多语言文本，基于其语言特性，进行恰当地分词。

参数：rulefile-- 此值的格式：  四个字母的语言代码+“:”+文件路径

<analyzer>
    <tokenizer class="solr.ICUTokenizerFactory" rulefile="Latn:my.Latin.rule.rbbi,Cyrl:my.Cyrillic.rules.rbbi"/>
</analyzer>

注意：需要添加额外的jar包到Solr 的 classpath下。

9. solr.PathHierarchyTokenizerFactory

用replace指定的字符代替delimiter指定的字符，并进行分词

参数：delimiter (no default)

replace (no default)

示例：

<analyzer>
    <tokenizer class="solr.PathHierarchyTokenizerFactory" delimiter="\" replace="/"/>
</analyzer>

输入：   d:\usr\local\apache

输出：   "d:", "d:/usr", "d:/usr/local", "d:/usr/local/apache"

10. solr.PatternTokenizerFactory

利用Java的正则表达式进行分词。

参数：pattern -- 必填

group --   可选。默认 -1 。

-1 表示正则表达式作为分割符。0 表示符合正则表达式的才会被认为是一个分词而保留。大于0的值（比如2）表示只保留符合正则表达式的部分中的第2个部分。

示例：

<analyzer>
    <tokenizer class="solr.PatternTokenizerFactory" pattern="\s*\s*" />
</analyzer>

输入：   fee,fie, foe , fun,  foo

输出：   "fee", "fie", "foe", "fun", "foo"

示例：

<analyzer>
    <tokenizer class="solr.PatternTokenizerFactory" pattern="[A-Z][A-Za-z]*" group="0"/>
</analyzer>

输入：   Hello, My name is Rose.

输出：   "Hello", "My", "Rose"

11. solr.UAX29URLEmailTokenizerFactory

空格和标点符号做为分割符。小数点如果后面不是空格，则被保留。连接符（“-”）连起来的各个部分将被划分为独立的分词，除非其中包含数字。网址、Email、IP地址将会被认为一个整体。

参数：maxTokenLength -- 长度超过此值的分词将会被截断。

12. solr.WhitespaceTokenizerFactory

仅将空格做为分割符。

参数：rule -- "java": 默认值，利用Character.isWhitespace(int)确定是否是whitespace。 “unicode”: 利用Unicode的whitespace做为分割符。