'use strict';
let request = require('request')
let cheerio = require('cheerio'); //爬虫
let iconv = require('iconv-lite'); //处理gbk编码的网页
let Entities = require('html-entities').XmlEntities;
let entities = new Entities();
const fs = require('fs')
const path = require('path')
const host = 'http://www.quanshuwang.com/shuku/' const db = uniCloud.database()
const collection = db.collection('repiles-book')
const dbCom = db.command exports.main = async (event, context) => { // 开始抓取首页链接
let indexArr = []
//发送请求获取页面内容
var body = await requestFn()
var $ = cheerio.load(body);
//兼容网页编码格式
if ($('meta[charset]').attr('charset') == 'utf-8') { //如果网页是utf-8的编码 } else { //如果网页是gbk的编码
body = iconv.decode(body, 'gbk'); //转换gbk编码的页面内容
$ = cheerio.load(body);
}
//处理网页数据 获取排行列表
let list = $('.yd-book-content .tab-item').find('.yd-book-item')
for (var i = 0; i < list.length; i++) {
let href = list.eq(i).find('a').attr("href")
//获取书的id
let index = href.indexOf('_') + 1
let index2 = href.lastIndexOf('.')
let bookId = href.slice(index, index2) //书ID
//获取书的封面
let bookImageSrc = list.eq(i).find('img').attr("src")
//获取书的标题 注意使用html-entities解码
let bookName = entities.decode(list.eq(i).find('h2').html())
//获取书的作者 注意使用html-entities解码
let bookAuthor = entities.decode(list.eq(i).find('.dl-horizontal-inline p').html()) console.log('书的封面:' + bookImageSrc);
console.log('书的标题:' + bookName);
console.log('书的作者:' + bookAuthor);
console.log('书的id:' + bookId);
let obj={
bookImageSrc,
bookName,
bookAuthor,
bookId,
}
saveContent(obj)
} console.log('新增文章数量:', indexArr.length); // 循环抓取每个新文章详情页
// if (indexArr.length > 0) {
// for (let i = 0; i < indexArr.length; i++) {
// let href = list.eq(indexArr[i]).attr("href")
// let imgSrc = list.eq(indexArr[i]).find('img').attr('src')
// let title = list.eq(indexArr[i]).find('.title').text()
// await saveArticle(href, title, imgSrc)
// }
// } //返回数据给客户端
return event
}; function saveContent(obj) {
//获取要写入文件的文件夹路径(以书名当文件夹)
let pathBook=path.join(__dirname, `../../bookData/${obj.bookName}`)
//判断书名文件夹是否存在,不存在则创建
if (!fs.existsSync(pathBook)) {
fs.mkdirSync(pathBook)
}
//写入json文件
fs.writeFile(`${pathBook}/chapter1.json`, JSON.stringify(obj), 'utf-8', err => {
if (err) throw err
})
} function requestFn() {
return new Promise((resolve, reject) => {
request({
url: host,
encoding: null //设置抓取页面时不要对数据做任何转换
}, function(err, res, body) {
if (err) {
reject(err)
} else {
resolve(body)
}
});
})
}

uniCloud爬虫获取网页数据的更多相关文章

  1. 爬虫获取网页数据,报错:UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start by

    https://blog.csdn.net/hj_xy_0705/article/details/85011072

  2. Java 网络爬虫获取网页源代码原理及实现

    Java 网络爬虫获取网页源代码原理及实现 1.网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成.传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL ...

  3. 【转】如何在Windows+VS2005使用最新静态libcurl 7.35.0获取网页数据,支持HTTPS

    地址: http://blog.csdn.net/hujkay作者:Jekkay Hu(34538980@qq.com)关键词:Windows,curl,ssl,  visual c++ 2005, ...

  4. 在php中分别使用curl的post提交数据的方法和get获取网页数据的方法

    在php中分别使用curl的post提交数据的方法和get获取网页数据的方法整理分享一下额,具体代码如下: (1)使用php curl获取网页数据的方法: $ch=curl_init(); //设置选 ...

  5. UWP 使用HttpClient获取网页数据

    我的App自然灾害中,为了展示地震的各种信息,就需要从网页上获取地震源数据. 如图所示,我们需要展示 地震等级.地震发生时间.经纬度.震源深度.地震位置等信息. 那么,假设给了一个地震的源,中国地震台 ...

  6. 使用HttpClient进行Get方式通信(使用HttpGet获取网页数据)

    1.项目结构 导入jar包 jar包去官网下载解压后项目新建lib目录,将解压包中的lib目录中的zip拷入项目lib目录文件夹,然后build path-->配置到项目中 2.TestGet. ...

  7. C# 获取网页数据、获取本机IP 分类: C# 2014-12-16 14:59 308人阅读 评论(0) 收藏

    说明: (1) http://www.3322.org/dyndns/getip 这个网址可以获取本机IP,读取的内容就是本机IP (2)方法经测试,可以实现. (3)参考:http://www.cn ...

  8. 20170717_python_爬虫_网页数据解析_BeautifulSoup_数据保存_pymysql

    上午废了老大劲成功登陆后,下午看了下BeautifulSoup和pymysql,晚上记录一下 自己电脑装的sublime,字体颜色竟然拷贝不下来 - - 写的过程中遇到了很多问题: 1.模拟登陆部分 ...

  9. VB中获取网页数据

    以下是在Microsoft Visual Basic 6.0 中文版下做的 VB可以抓取网页数据,所用的控件是Inet控件. 第一步:单击工程-->部件 选择Microsoft Internet ...

随机推荐

  1. ceph块存储场景

    1.创建rbd使用的存储池. admin节点需要安装ceph才能使用该命令,如果没有,也可以切换到ceph-node1节点去操作. [cephfsd@ceph-admin ceph]$ ceph os ...

  2. Docker学习(四)——Docker容器连接

    Docker容器连接     容器中可以运行一些网络应用,要让外部也可以访问这些应用,可以通过-P或-p参数来指定端口映射. 下面我们来实现通过端口连接到一个docker容器. 1.网络端口映射    ...

  3. 100个Shell脚本——【脚本5】数字求和

    [脚本5]数字求和 编写shell脚本,要求输入一个数字,然后计算出从1到输入数字的和,要求,如果输入的数字小于1,则重新输入,直到输入正确的数字为止,示例: 一.脚本 #!/bin/bash whi ...

  4. Linux脚本教程

    Linux_Shell_脚本参数接收键盘输入 #!/bin/bash #提示"请输入姓名"并等待30秒,把用户的输入保存入变量name中 read -t 30 -p "请 ...

  5. Selenium和PhantomJS

    Selenium Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同是Selenium 可以直接运行在浏览器上, ...

  6. pytest_BDD + allure 自动化测试框架

    一.项目结构 --driverAction ----Assessement.py ----basicPageAction.py ----BrowserDriver.py --drivers ----c ...

  7. Redis cluster 集群报错合集

    目录 一.连接集群操作报错(error)MOVED 二.集群关闭后重启报错 三.Redis (error) NOAUTH Authentication required 四.Redis集群使用中突然挂 ...

  8. Mysql配置文件 基本设置

    [mysqld] #MySQL启动用户 user = mysql #设置mysql的安装目录 basedir=/usr/local/mysql #mysql.sock存放目录 socket=/var/ ...

  9. Fiddler抓包ios设备

    Fiddler绝对称得上是"抓包神器", Fiddler不但能截获各种浏览器发出的HTTP请求, 也可以截获各种智能手机发出的HTTP/HTTPS请求. Fiddler能捕获ISO ...

  10. QT QApplication干了啥?

    ------------恢复内容开始------------ QCoreApplicationPrivate 会取得current thread; 在windows平台创建TLS变量,记录线程信息,并 ...