nodejs爬虫数据存入mysql

node爬虫主要用的是三个插件

request  cheerio mysql

废话不多说直接上代码

const request=require("request")
const cheerio=require("cheerio")
const  mysql=require('mysql')
var connection = mysql.createConnection({  //配置参数，然后添加你的数据库里面的表
  host: 'localhost',
  user: 'root',
  password: 'root',
  database: 'test'
})
connection.connect();  //连接

function show(item){
  request('http://www.1905.com/vod/list/n_1_t_1/o1p'+item+'.html',function(err,res){
      if(err){
          console.log('请求出错');
      }else{
          var $ = cheerio.load(res.body, {decodeEntities: false});
          $('.search-list>div').each(function(){
              var newsTitle = $(this).find('p').text();
              var news1Title = $(this).find('h3').text();
              var code = $(this).find('i').text();
              var newsTime= "";
              var newsUrl= $(this).find('a').attr('href');

              var addSql = "insert into blog(title,time,href,title2,codeNum) values (?,?,?,?,?)";
              var addParmas = [newsTitle, newsTime,newsUrl,news1Title,code];
              connection.query(addSql,addParmas,function(err,data){
                if(err){
                    console.log("数据库连接错误");
                }else{
                  item++;
                  show(item)
                }
              })
          });
      }
  });
}

show(1)

前提是一定要先分析别人网站的页面结构，然后就是如果你没有esc的话，你打开本地的mysql，再test下建立一张blog的表即可

最后的效果是

就这........

对了，就是如果你没有取消mysql的限制的话，应该是只可以导入1000条数据的，如果你想取消限制的话，可以直接如下图点击取消即可