crawler_爬虫开发的准备工作【工具】

　　俗话说工欲善其事必先利其器，做java网络爬虫开发分析网页的分析工具，抓包工具比不可少，一下是个人常用的几个工具。

1、firefox低版本是为了支持httpwather , ie各个版本都支持httpwather插件，

2、httpwatcher 是一个浏览器插件，用以观察每次通过浏览器建立http请求时，的后台请求【含请求头，request信息和respone】

主要用以分析后台json请求，ajax请求的页面，个人也比较倾向于中个插件工具，安装方法，直接next。

3、JGsoft.RegexBuddy.v3.5.0.Retail-ZWT 俗称猫头鹰，用以正则匹配，调试。

4、ue，是一个很强大的文本编辑工具 ，支持正则替换。和猫头鹰是一对很强的组合

5、wireshark  一款基于监控网卡的抓包分析工具，用以抓取仿真器等非浏览器入口数据包。作为httpwatcher的补充

6、fiddler4setup 也是一款很牛气轰轰的分析工具（http请求），网上资料很多，我在博客上会转载相关的用法。

为了方便大家使用，链接缀在下边儿，百度网版的 ，

链接:http://pan.baidu.com/share/link?shareid=1102011596&uk=1863011920  密码:v28c

若转载：请注明出处

2013-09-04 23:37:48

爬虫技术交流_crawler QQ群：167047843