Lucene源码解析--Analyzer之Tokenizer

Analyzer包含两个核心组件，Tokenizer以及TokenFilter。两者的区别在于，前者在字符级别处理流，而后者则在词语级别处理流。Tokenizer是Analyzer的第一步，其构造函数接收一个Reader作为参数，而TokenFilter则是一个类似的拦截器，其参数可以是TokenStream、Tokenizer。

Tokenizer的类结构图：

各类的介绍：

1.Tokenizer

输入为Reader的TokenStream，其子类必须实现incrementToken()函数，并且在设置属性(attributes) 必须调用AttributeSource中的clearAttributes()方法。

2.CharTokenizer

一个简单的，基于字符（character）的tokenizers。



protected abstract boolean isTokenChar(int c);//判断是否应该加入token



 protected int normalize(int c) {

    return c;

  }//对每一个即将加入到token的字符进行处理，默认不进行任何操作，直接返回（

其子类可能使用此方法，比如lowercase tokens

）

3.LetterTokenizer

一个将文本在非字母的地方进行拆分的tokenizer，对于亚洲语系来说并不适合，因为其

大部分单词并不是以空格划分的。



  protected boolean isTokenChar(int c) {

    return Character.isLetter(c);//收集符合要求的字符

  }

4.LowerCaseTokenizer

一个将文本在非字母的地方拆分并转换成小写的Tokenizer，其作用类似于LetterTokenizer与LowerCaseFilter的组合。



  protected int normalize(int c) {

    return Character.toLowerCase(c);//字母转换成小写

  }



5.WhitespaceTokenizer

一个在空白处对文本进行拆分的tokenizer。



  protected boolean isTokenChar(int c) {

    return !Character.isWhitespace(c);//判断字符是否为空白

  }



6.KeywordTokenizer

将整个输入作为一个分词的tokenizer。