【搜索引擎Jediael开发笔记1】搜索引擎初步介绍及网络爬虫

【【搜索引擎Jediael开发笔记1】搜索引擎初步介绍及网络爬虫】的更多相关文章

【搜索引擎Jediael开发笔记1】搜索引擎初步介绍及网络爬虫

详细可参考 (1)书箱:<这就是搜索引擎><自己动手写网络爬虫><解密搜索引擎打桩实践> (2)[搜索引擎基础知识1]搜索引擎的技术架构 (3)[搜索引擎基础知识2]网络爬虫的介绍 (一)搜索引擎的开发一般可分为以下三大部分 1.数据采集层:一般使用爬虫获取互联网的数据,重要的开源项目有Heritrxi 2.数据分析处理层:将从互联网上获取到的数据进行提取归类.分词.语义分析得出索引得内容,等待用户查询使用,重要的开源项目有Lucene 3.视图层:也用户的交互界面,如…

【搜索引擎Jediael开发笔记】v0.1完整代码

详细代码请见 E:\Project\[重要]归档代码\SearchEngine归档代码或 https://code.csdn.net/jediael_lu/jediael/tree/10991c839c51d32f825708b09451b2618a20ee94 或 http://download.csdn.net/detail/jediael_lu/7402827 本版本完成以下功能: (1)创建用于保存种子URL的配置文件及其数据结构 (2)创建用于保存Todo信息(未下载URL)的数据结…

【搜索引擎Jediael开发笔记】v0.1完整代码 2014-05-26 15:17 463人阅读评论(0) 收藏

详细代码请见 E:\Project\[重要]归档代码\SearchEngine归档代码或 https://code.csdn.net/jediael_lu/jediael/tree/10991c839c51d32f825708b09451b2618a20ee94 或 http://download.csdn.net/detail/jediael_lu/7402827 本版本完成以下功能: (1)创建用于保存种子URL的配置文件及其数据结构 (2)创建用于保存Todo信息(未下载URL)…

【搜索引擎Jediael开发笔记】V0.1完整代码 2014-05-26 15:16 443人阅读评论(0) 收藏

详细代码请见 E:\Project\[重要]归档代码\SearchEngine归档代码或 https://code.csdn.net/jediael_lu/jediael/tree/10991c839c51d32f825708b09451b2618a20ee94 或 http://download.csdn.net/detail/jediael_lu/7402827 本版本完成以下功能: (1)创建用于保存种子URL的配置文件及其数据结构 (2)创建用于保存Todo信息(未下载URL)…

【搜索引擎Jediael开发笔记3】使用HtmlParser提取网页中的链接

关于HtmpParser的基本内容请见 HtmlParser基础教程本文示例用于提取HTML文件中的链接 package org.ljh.search.html; import java.util.HashSet; import java.util.Set; import org.htmlparser.Node; import org.htmlparser.NodeFilter; import org.htmlparser.Parser; import org.htmlparser.filte…

【搜索引擎Jediael开发笔记2】使用HttpClient下载网页至本地文件

本文使用HttpClient根据url进行网页下载.其中 (1)HttpClient的相关知识请参见HttpClient基础教程 (2) package org.ljh.search.downloadpage; import java.io.FileNotFoundException; import java.io.IOException; import java.io.InputStream; import java.io.PrintWriter; import java.io.Writer;…