一.起因: 昨天在简书上看到这么一篇文章<中国的父母,大都有毛病>,看完之后个人是比较认同作者的观点. 不过,翻了下评论,发现评论区争议颇大,基本两极化.好奇,想看看整体的评论是个什么样,就写个爬虫,做了词云. 二.怎么做: ① 观察页面,找到获取评论的请求,查看评论数据样式,写爬虫 ② 用 jieba 模块,将爬取的评论做分词处理 ③ 用 wordcloud 模块,生成词云 三.代码如下: #!/usr/bin/env python3 # -*- coding: utf-8 -*- impo…

初学python,记录学习过程. 新上榜,七日热门等同理. 此次主要为了学习python中对mongodb的操作,顺便巩固requests与BeautifulSoup. 点击,得到URL https://www.jianshu.com/trending/monthly?utm_medium=index-banner-s&utm_source=desktop 下拉,发现Ajax自动加载,F12观察请求. Ajax的请求为:https://www.jianshu.com/trending/month…

很早之前写过一篇怎么利用微博数据制作词云图片出来,之前的写得不完整,而且只能使用自己的数据,现在重新整理了一下,任何的微博数据都可以制作出来,放在今天应该比较应景. 一年一度的虐汪节,是继续蹲在角落默默吃狗粮还是主动出击告别单身汪加入散狗粮的行列就看你啦,七夕送什么才有心意,程序猿可以试试用一种特别的方式来表达你对女神的心意.有一个创意是把她过往发的微博整理后用词云展示出来.本文教你怎么用Python快速创建出有心意词云,即使是Python小白也能分分钟做出来. 准备工作 本环境基于Python…

import json import requests from lxml import etree from time import sleep url = "https://www.jianshu.com/shakespeare/notes/60479187/comments?page=1&count=100&author_only=false&order_by=desc" headers = { "User-Agent":"M…

Node爬取简书首页文章 博主刚学node,打算写个爬虫练练手,这次的爬虫目标是简书的首页文章 流程分析 使用superagent发送http请求到服务端,获取HTML文本 用cheerio解析获得的HTML文本,本例将解析简书首页20篇文章的基本信息 使用mysql模块把解析出的数据写入本地数据库存储 第三方模块 superagent superagent是一个优雅又轻量级的网络请求API,类似于Python中的requests.官方文档在这里 $ npm install superagent…

主要学习如何通过抓包工具分析简书的Ajax加载,有时间再写一个Multithread proxy spider提升效率. 1. 关键点: 使用单线程爬取,未登录,爬取简书主页Ajax加载的内容.主要有三个关键点:   抓包抓到的X-INFINITESCROLL: true.X-Requested-With: XMLHttpRequest.两个字段是固定的. 还有X-CSRF-Token这个key的value通过首次请求简书首页获得,用于爬取Ajax的下一页. 表单里的seen_snote_ids…

Scrapy+selenium爬取简书全站 环境 Ubuntu 18.04 Python 3.8 Scrapy 2.1 爬取内容 文字标题 作者 作者头像 发布日期 内容 文章连接 文章ID 思路 分析简书文章的url规则 使用selenium请求页面 使用xpath获取需要的数据 异步存储数据到MySQL(提高存储效率) 实现 前戏: 创建scrapy项目 建立crawlsipder爬虫文件 打开pipelines和middleware 第一步:分析简书文章的url 可以看到url规则为jia…

昨天在简书上写了用Scrapy抓取简书30日热门文章,对scrapy是刚接触,跨页面抓取以及在pipelines里调用settings,连接mysql等还不是很熟悉,今天依旧以单独的py文件区去抓取数据.同时简书上排版不是很熟悉,markdown今天刚下载还没来得及调试,以后会同步更新 简书文章:http://www.jianshu.com/p/eadfdb4b5a9d 一.下面是将爬取到的数据写到Mysql数据库代码: 插入数据库titletime字段需要将字符型转化为datetime型 用t…

在这里我们使用CrawlSpider爬虫模板, 通过其过滤规则进行抓取, 并将抓取后的结果存入mysql中,下面直接上代码: jianshu_spider.py # -*- coding: utf-8 -*- import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from jianshu.items import JianshuItem…

import requests from bs4 import BeautifulSoup url_list = [] kv = {'User-Agent':'Mozilla/5.0'} r = requests.get('https://www.jianshu.com/p/42df25cfc1ec',timeout=30,headers = kv) # print(r.request.headers) dome = r.text soup = BeautifulSoup(dome,'html.…