WEBUS2.0 In Action - [源代码] - C#代码搜索器
最近由于工作的需要, 要分析大量C#代码, 在数万个cs文件中搜索特定关键词. 这是一项非常耗时的工作, 用Notepad++要运行接近半个小时. 于是我利用WEBUS2.0 SDK创建了一个代码搜索器程序, 非常方便的完成了这项工作.
Code Search程序首先会在选定的目录中搜索所有cs文件:
private void btnOpen_Click(object sender, EventArgs e)
{
try
{
if (folderBrowserDialog1.ShowDialog() == System.Windows.Forms.DialogResult.OK)
{
Task.Factory.StartNew(IndexProc);
//...
}
然后创建IIndexer, 并在一个线程中为所有找到的文件编制索引:
void IndexProc()
{
var files = Directory.GetFiles(folderBrowserDialog1.SelectedPath, "*.cs", SearchOption.AllDirectories);
if (files != null && files.Length > )
{
//...this.ResetIndex();
foreach (var file in files)
{
Document doc = new Document();
doc.Fields.Add(new Field("FileName", file, FieldAttributes.None));
doc.Fields.Add(new Field("Code", StringHelper.LoadString(file), FieldAttributes.AnalyseIndex));
m_Index.Add(doc);
//...
}
}
//...
} void ResetIndex()
{
if (m_Index != null)
{
m_Index.Close();
}
m_Index = new IndexManager(new CodeAnalyzer());
m_Index.DumpDocs = 3000;
m_Index.DumpSize = 10;
m_Index.MinIndexSize = int.MaxValue;
m_Index.MaxIndexSize = int.MaxValue;
m_Index.MergeFactor = int.MaxValue;
m_Index.New(AppDomain.CurrentDomain.BaseDirectory + @"\Index");
m_Searcher = new IndexSearcher(m_Index);
}
通过调节DumpDocs和DumpSize, 可以优化程序的内存占用;
通过调节Min/MaxIndexSize和MergeFactor, 可以优化程序的IO性能, 目前我设置的MinIndexSize最大意味着自始至终只会生成一个索引片段; MergeFactor最大意味着从不合并索引片段.
在创建索引的时候, 我们使用的是专门为代码分析设计的IAnalyzer:
class CodeAnalyzer : IAnalyzer
{
//...public ITokenStream GetTokenStream(Webus.Documents.Field field)
{
if (field.Name == "Code")
{
return this.GetTokenStream(field.Value.ToString());
}
else
{
return null;
}
}
} class CodeTokenStream : ITokenStream
{
HashSet<string> stops = new HashSet<string>(new string[] {
"abstract",
"event",
"new",
//...
"enum",
"namespace",
"string"
});
Queue<Token> m_Buffer = new Queue<Token>();
public CodeTokenStream(string text)
{
MatchCollection mc = Regex.Matches(text, @"\w+");
foreach (Match m in mc)
{
var key = m.Value.ToLower();
if (stops.Contains(key) == false)
{
m_Buffer.Enqueue(new Token(key, m.Index, m.Length));
}
}
}
//...
}
这个分析器中包含了所有C#的关键词, 由于他们是绝对高频词并且没有搜索的意义, 因此在分析的时候会跳过这些词汇而不做任何处理.
在编制索引的时候通过事件将状态更新到UI上面:
private void frmCodeSearch_Load(object sender, EventArgs e)
{
try
{
this.StatusChanged += new StatusChangeEventHandler(frmCodeSearch_StatusChanged);
//...
} delegate void UpdateUI();
void frmCodeSearch_StatusChanged(object sender, string status)
{
this.Invoke(new UpdateUI(() => { this.txtStatus.Text = status; }));
}
这里是跨线程更新UI, 因此需要使用this.Invoke来封送相应操作.
索引编制过程中就可以开始搜索了:
对应代码如下:
private void txtKeyword_TextChanged(object sender, EventArgs e)
{
try
{
TermQuery query = new TermQuery(new Term("Code", txtKeyword.Text.ToLower()));
var hits = m_Searcher.Search(query);
List<SearchResult> result = new List<SearchResult>();
foreach (HitDoc hit in hits)
{
StandardHighlighter hl = new StandardHighlighter(hit);
result.Add(new SearchResult(hit));
}
dgvResult.DataSource = result;
}
catch (Exception ex)
{
MessageBox.Show(ExceptionHelper.ToString(ex));
}
}
创建一个TermQuery对象, 对Code字段进行搜索, 构建List<SearchResult>类型的结果集, 并且绑定到DataGridView上面, 大功告成! enjoy~!
2013-7-21补充:
增强了搜索功能, 支持WEBUS2.0 SDK的查询表达式, 能够完成各种复杂的搜索任务. 具体语法将在后面的文章中介绍.
2013-8-20补充:
Build - 选择一个文件夹开始编制索引, 编好的索引自动保存在当前目录的CodeSearch.Index子目录下面. 比如我们选择C:\SourceCode来编制索引, 这索引数据会保存在C:\SourceCode\CodeSearch.Index中.
Open - 打开已经存在的索引, 即上面所说的CodeSearch.Index文件夹.
关闭程序时会自动关闭当前索引. 索引关闭后全部数据都保存到磁盘上, 下次可以直接打开来继续使用.
WEBUS2.0 In Action - [源代码] - C#代码搜索器的更多相关文章
- [源代码] - C#代码搜索器 - 续
在前文 [源代码] - C#代码搜索器 中我开发了一个代码搜索器. 我对其做的最后改动是将索引保存到磁盘中, 以备今后使用. 如今, 我在工作中又接到一项新任务: 有一个大项目, 其中10个负责数据访 ...
- C#代码搜索器
WEBUS2.0 In Action - [源代码] - C#代码搜索器 最近由于工作的需要, 要分析大量C#代码, 在数万个cs文件中搜索特定关键词. 这是一项非常耗时的工作, 用Notepad++ ...
- WEBUS2.0 In Action - 搜索操作指南 - (1)
上一篇:WEBUS2.0 In Action - 索引操作指南(2) | 下一篇:WEBUS2.0 In Action - 搜索操作指南(2) 1. IQueriable中内置的搜索功能 在Webus ...
- WEBUS2.0 In Action - 搜索操作指南 - (2)
上一篇:WEBUS2.0 In Action - 搜索操作指南(1) | 下一篇:WEBUS2.0 In Action - 搜索操作指南(3) 2. 使用Query Query是所有查询的基类, 它一 ...
- WEBUS2.0 In Action - 搜索操作指南 - (3)
上一篇:WEBUS2.0 In Action - 搜索操作指南(2) | 下一篇:WEBUS2.0 In Action - 搜索操作指南(4) 3. 评分机制 (Webus.Search.IHitSc ...
- WEBUS2.0 In Action - 搜索操作指南 - (4)
上一篇:WEBUS2.0 In Action - 搜索操作指南(3) 6. 搜索多个索引 为了提升性能, 我们可以从多个索引同时进行搜索, Webus.Search.MultiSearcher提供了相 ...
- WEBUS2.0 In Action - 索引操作指南(2)
上一篇:WEBUS2.0 In Action - 索引操作指南(1) | 下一篇:WEBUS2.0 In Action - 搜索操作指南(1) 3. 添加.删除.撤销删除和修改文档 在WEBUS中要将 ...
- 开源代码搜索器searchcode
项目主页:https://searchcode.com/ 查看API:https://searchcode.com/api/ 关于:https://searchcode.com/about/ Sear ...
- 从源代码分析modelDriven拦截器和params拦截器和拦截器prepare 和paramsPrepareParamsStack拦截器栈(让你的Struts2代码更简洁——如何培养框架设计能力
源代码文件:Web App Libraries/struts2-core-2.3.15.3.jar/struts-default.xml 拦截器modelDriven: <interceptor ...
随机推荐
- HDU 1428 漫步校园(记忆化搜索,BFS, DFS)
漫步校园 http://acm.hdu.edu.cn/showproblem.php?pid=1428 Problem Description LL最近沉迷于AC不能自拔,每天寝室.机房两点一线.由于 ...
- 使用Visio进行UML建模
http://www.qdgw.edu.cn/zhuantiweb/jpkc/2009/rjkf/xmwd/Visio_UmlModel.htm#_Toc80417837 内容提纲: 1.VISIO中 ...
- Windows 7,64位机器上安装DB2 7.2+FP7
1.要想在Windows 7,64位机器上安装DB2 7.2+FP7,注意:1)拷贝所有安装文件到本地2)设置setup.exe文件兼容windows 20003)使得users用户勾选“完全控制”权 ...
- Gradle Goodness: Rename Ant Task Names When Importing Ant Build File
Migrating from Ant to Gradle is very easy with the importBuild method from AntBuilder. We only have ...
- 小奇模拟赛9.13 by hzwer
2015年9月13日NOIP模拟赛 by hzwer (这是小奇=> 小奇挖矿(explo) [题目背景] 小奇要开采一些矿物,它驾驶着一台带有钻头(初始能力值w)的飞船,按既定路线依次飞 ...
- 多项式求ln,求exp,开方,快速幂 学习总结
按理说Po姐姐三月份来讲课的时候我就应该学了 但是当时觉得比较难加上自己比较懒,所以就QAQ了 现在不得不重新弄一遍了 首先说多项式求ln 设G(x)=lnF(x) 我们两边求导可以得到G'(x)=F ...
- lintcode:最长公共子序列
题目 最长公共子序列 给出两个字符串,找到最长公共子序列(LCS),返回LCS的长度. 样例 给出"ABCD" 和 "EDCA",这个LCS是 "A& ...
- Linux下Boost交叉编译
http://davidlwq.iteye.com/blog/1580752 运行环境:ubuntu 12.04, boost 1.50.0 由于要把boost移植到arm板上去,所以折腾了一下,后来 ...
- 物联网操作系统Hello China V1.76(PC串口版)版本发布
作为向ARM平台移植的基线版本,经过三个多月的努力,Hello China V1.76终于完成并发布.相对原来发布的V1.75版本,该版本主要做了如下修改: 彻底去掉了原来版本源代码中的C++特性,采 ...
- QT+VS编译器处理字符串时的坑真是多
以下因素都有影响:1. QT4与QT5对字符串编码的处理不同(最好不要在源代码里直接写中文,坑更多)2. QTextCodec自动对编码转换的影响3. 源代码文件对编码存储格式的不同会影响编译器对字符 ...