Python爬取热搜存入数据库并且还能定时发送邮件!!!
一、前言
微博热搜榜每天都会更新一些新鲜事,但是自己处于各种原因,肯定不能时刻关注着微博,为了与时代接轨,接受最新资讯,就寻思着用Python写个定时爬取微博热搜的并且发送QQ邮件的程序,这样每天可以在不打开微博的情况下,时刻掌握着微博的最新动态资讯。
废话不多说,下面直接上代码以及详细思路。
二、代码及思路
(1)首先肯定是对微博热搜进行爬取,这并不难,是个非常简单的爬虫。
def getHTML(url):
headers={
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36",
} # 浏览器请求头
r = requests.get(url, headers = headers) # 向该网页发起请求
# 如果返回的响应码是200 则表示请求成功,否则返回“获取失败”
if r.status_code == 200:
r.encoding = r.apparent_encoding
return r.text
else:
return "获取失败"
(2)接下来对返回的源码进行解析,这边我用的是xpath。
def parseHTML(html):
html = etree.HTML(html)
content = html.xpath('//div[@class="data"]//table//tr[position()>1]/td[@class="td-02"]//a/text()')
return content
(3)获取到需要的数据之后,就将它们存入数据库。第一步就是要连接上数据库,然后创建对应的表格存储数据。
def toDB(content):
db = pymysql.connect('localhost', 'root', '密码', 'lqj', charset="utf8")
cursor = db.cursor()
dt = time.strftime("%Y-%m-%d %X")
sql = '''
create table if not exists wb_Hotdata(
日期 datetime,
热搜 varchar(100) primary key )
'''
cursor.execute(sql)
for item in content:
sql1 = "INSERT IGNORE INTO wb_Hotdata(日期,热搜) VALUES (%s,%s)"
cursor.execute(sql1,(dt,item))
db.commit()
print("数据插入成功")
cursor.close()
db.close()
(4)下一步,也是整篇文章的灵魂,就是讲热搜定时发送到自己的邮箱,这样就能及时获取最新资讯。
def sendMail(contents):
mailBox = '发送邮箱'
password = '邮箱授权码'
to_mail = '接收邮箱' # 接收邮箱
mailhost = 'smtp.qq.com' # qq邮箱的smtp地址
qqmail = smtplib.SMTP() # 创建SMTP对象
qqmail.connect(mailhost, 25)
qqmail.login(from_addr, password)
dt = time.strftime("%Y-%m-%d %X")
data = ''
for content in contents:
data += '当前时间' + dt + '\n' + '热搜:' + content + '\n'
data += '=============================\n' #分割线
msg = MIMEText(data, 'plain', 'utf-8')
msg['subject'] = Header("即时微博热搜", 'utf-8')
try:
qqmail.sendmail(mailBox, to_mail, msg.as_string())
print('发送成功!')
except:
print('发送失败!')
qqmail.quit()
(5)最后一步,就是要实现定时发送这个功能了,这边我使用的是schedule模块。
def main():
html = getHTML("https://s.weibo.com/top/summary")
contents = parseHTML(html)
toDB(contents)
sendMail(contents)
schedule.every().day.at("10:30").do(main) # 每天早上10:30执行main函数
while True:
schedule.run_pending()
time.sleep(1)
效果图:
这样看起来是不是很简单明了,并且不需要时刻打开微博,自己指定任意时间就能收到一手资讯,与“out了”说拜拜!
三、结语
当然,这只是微博热搜,如果需要其他资讯,也可以获取其他平台的数据,定时发送到邮箱中,或者网站发生变动,也可以第一时间提醒你,非常的方便!
想要获取更多Python学习资料可以加QQ:2955637827私聊或加Q群630390733大家一起来学习讨论吧!
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理
Python爬取热搜存入数据库并且还能定时发送邮件!!!的更多相关文章
- Python 爬取 热词并进行分类数据分析-[解释修复+热词引用]
日期:2020.02.02 博客期:141 星期日 [本博客的代码如若要使用,请在下方评论区留言,之后再用(就是跟我说一声)] 所有相关跳转: a.[简单准备] b.[云图制作+数据导入] c.[拓扑 ...
- Python 爬取 热词并进行分类数据分析-[云图制作+数据导入]
日期:2020.01.28 博客期:136 星期二 [本博客的代码如若要使用,请在下方评论区留言,之后再用(就是跟我说一声)] 所有相关跳转: a.[简单准备] b.[云图制作+数据导入](本期博客) ...
- Python 爬取 热词并进行分类数据分析-[简单准备] (2020年寒假小目标05)
日期:2020.01.27 博客期:135 星期一 [本博客的代码如若要使用,请在下方评论区留言,之后再用(就是跟我说一声)] 所有相关跳转: a.[简单准备](本期博客) b.[云图制作+数据导入] ...
- Python 爬取 热词并进行分类数据分析-[数据修复]
日期:2020.02.01 博客期:140 星期六 [本博客的代码如若要使用,请在下方评论区留言,之后再用(就是跟我说一声)] 所有相关跳转: a.[简单准备] b.[云图制作+数据导入] c.[拓扑 ...
- python爬取盘搜的有效链接
因为盘搜搜索出来的链接有很多已经失效了,影响找数据的效率,因此想到了用爬虫来过滤出有效的链接,顺便练练手~ 这是本次爬取的目标网址http://www.pansou.com,首先先搜索个python, ...
- Python 爬取 热词并进行分类数据分析-[热词分类+目录生成]
日期:2020.02.04 博客期:143 星期二 [本博客的代码如若要使用,请在下方评论区留言,之后再用(就是跟我说一声)] 所有相关跳转: a.[简单准备] b.[云图制作+数据导入] c.[ ...
- Python 爬取 热词并进行分类数据分析-[拓扑数据]
日期:2020.01.29 博客期:137 星期三 [本博客的代码如若要使用,请在下方评论区留言,之后再用(就是跟我说一声)] 所有相关跳转: a.[简单准备] b.[云图制作+数据导入] c.[拓扑 ...
- python爬取疫情数据存入MySQL数据库
import requests from bs4 import BeautifulSoup import json import time from pymysql import * def mes( ...
- Python 爬取 热词并进行分类数据分析-[App制作]
日期:2020.02.14 博客期:154 星期五 [本博客的代码如若要使用,请在下方评论区留言,之后再用(就是跟我说一声)] 所有相关跳转: a.[简单准备] b.[云图制作+数据导入] c.[拓扑 ...
随机推荐
- 【VUE】6.组件通信(一)父组件向子组件传值
1. 前提&知识点 1./components/Father.vue 是父组件, Son.vue 是子组件 2.父组件像子组件通信 props 2.组件通信 1. 新增一个路由入口 /fath ...
- 给git日志添加好看的样式
windows添加如下命令,让入了全局环境里 git config --global alias.lg "log --color --graph --pretty=format:'%Cred ...
- 语音识别2 -- Listen,Attend,and Spell (LAS)
LAS是Listen(Encoder),Attend,和Spell(Decoder)的简称 第一个步骤Listen(Encoder) listen的作用是输入一段语音信号,输出一段向量,去掉语音中的杂 ...
- Happen-Before规则
- CCF-CSP认证 C++题解目录
持续更新中,记录刷题过程并分享一下小小的心得总结. 试题编号 试题名称 标签 202006-1 线性分类器 | 题解 线性规划 202006-2 稀疏向量| 题解 归并排序思想 202006-3 化学 ...
- 专业五线谱作曲打谱软件Overture的常用快捷键功能大全
快捷命令在我们使用软件时起到的帮助是不言而喻的,它用一个或几个简单的字母来代替常用的命令,使我们不用去记忆众多的长长的命令,也不必为了执行一个命令,在菜单和工具栏上寻寻觅觅.当然,随着Overture ...
- 如何在word中插入代码
本文使用的是word2007,在网上查阅资料,可以使用如下方法: 1. 插入一个1行1列的表格,然后将代码写在里面,完成之后选中表格: 2. 将样式改为"HTML代码". 其实只是 ...
- Docker 跨平台在 netCore 中的从入门到部署
前言 从题目我们可以看的出,今天是五部曲的第三部,你可能会好奇,为啥没有见到前两部呢?这里我简单说下: 1.跨平台第一部曲:MySql 如果你看我的所有开源项目,应该能发现我已经全部迁移到了Mysql ...
- 老猿学5G:融合计费场景的离线计费会话的Nchf_OfflineOnlyCharging_Create创建操作
☞ ░ 前往老猿Python博文目录 ░ 一.Nchf_OfflineOnlyCharging_Create消息交互流程 Nchf_OfflineOnlyCharging_Create服务化操作请求是 ...
- 第8.3节 Python类的__init__方法深入剖析:构造方法与继承详解
第8.3节 Python类的__init__方法深入剖析:构造方法与继承详解 一. 引言 上两节介绍了构造方法的语法及参数,说明了构造方法是Python的类创建实例后首先执行的方法,并说明如果类 ...