重写lucene.net的分词器支持3.0.3.0版本

lucene.net中每个分词器都是一个类，同时有一个辅助类，这个辅助类完成分词的大部分逻辑。分词类以Analyzer结尾，辅助类通常以Tokenizer结尾。分类词全部继承自Analyzer类，辅助类通常也会继承某个类。

首先在Analysis文件夹下建立两个类，EasyAnalyzer和EasyTokenizer。

 using Lucene.Net.Analysis;
 using System.IO;

 namespace LuceneNetTest
 {
     public class EasyTokenizer : CharTokenizer
     {
         private TextReader reader;
         public EasyTokenizer(TextReader reader)
             : base(reader)
         {
             this.reader = reader;
         }
         protected override bool IsTokenChar(char c)
         {
             //return true;  //整行输出
             //return c != ','; //逗号分隔
             return c != ' '; //空格划分
         }
     }
 }

EasyTokenizer

 using Lucene.Net.Analysis;
 using System.IO;

 namespace LuceneNetTest
 {
     public class EsayAnalyzer : Analyzer
     {
         public override TokenStream TokenStream(string fieldName, TextReader reader)
         {
             return new EasyTokenizer(reader);
         }
     }
 }

EsayAnalyzer

其中分词辅助类中的IsTokenChar这个函数是分词的关键，分词核心逻辑会根据这个函数返回的值进行分词，如果返回false，则会以这个字符进行一次划分。

测试代码如下：

 using Lucene.Net.Analysis;
 using Lucene.Net.Analysis.Tokenattributes;
 using System;
 using System.IO;
 namespace LuceneNetTest
 {
     class Program
     {
         static void Main(string[] args)
         {
             const string testwords = "大家好,I can speak chinese!";
             EsayAnalyzer simple = new EsayAnalyzer();
             TokenStream ts = simple.ReusableTokenStream("", new StringReader(testwords));
             while (ts.IncrementToken())
             {
                 ITermAttribute attribute = ts.GetAttribute<ITermAttribute>();
                 Console.WriteLine(attribute.Term);
             }
         }
     }
 }

Program

ITermAttribute：The term text of a Token.