node.js 开发简易的小爬虫

　　node.js  开发简易的小爬虫

　　　最近公司开发一款医药类的软件，所以需要一些药品的基础数据，所以本人就用node.js写一个简易的小爬虫，并写记录这个Demo以供大家参考。

一、开发前的准备：

　　1，开发前肯定是需要安装node.js的，这个我就不多罗嗦了，网上有的是教程。

　　　　下载地址:https://nodejs.org/en/download/。

　　　　一直下一步的傻瓜式安装就可以了

　　　　在cmd中检查Node.js版本，npm的版本

　　　　

　　2.开发前必要的资源安装：　　

　　　　npm install cheerio(用来解析获取的页面)

二、话不多说，代码供上

　　举例获取连接http://yp.120ask.com/detail/13369.html页面中的药品基础数据：

 var http = require('http');
 var cheerio = require('cheerio');
 var fs = require('fs');
 var url = 'http://yp.120ask.com/detail/13369.html'
 //解析获取的页面用cheerio进行解析
 function filterDrugDecri(html){
     var $ = cheerio.load(html);
     var drugDecri=$('.drugDecri').text()
     return drugDecri;
 }
 //输出内容到drugDecri.text文件
 function printDrugDecriInfo(drugDecri){
       fs.appendFile("drugDecri"+ '.txt', drugDecri, 'utf-8', function (err) {
         if (err) {
             console.log(err);
         }
     });
 }
 //请求连接获取数据
 http.get(url,function(res){
     var html='';
     res.on('data',function(data){
         html +=data
     })

     res.on('end', function() {
         var drugDecri = filterDrugDecri(html)
         printDrugDecriInfo(drugDecri)
　　　　　　console.log("数据加载完毕")
     });
 }).on('error', function() {
     console.log("获取数据出错！")
 });

三、执行文件

文件位置为：D:java\node\cariwer.js

　　在cmd中进入该文件目录中执行：node cariwer

数据加载完毕。生成drugDecri.txt文件

四、转载注明出处，谢谢。