Python爬取招聘信息,并且存储到MySQL数据库中
前面一篇文章主要讲述,如何通过Python爬取招聘信息,且爬取的日期为前一天的,同时将爬取的内容保存到数据库中;这篇文章主要讲述如何将python文件压缩成exe可执行文件,供后面的操作。
这系列文章主要是最近研究了数据库的定时计划备份,联系爬虫简单做的一个实验,但方法可以,尤其在Windows xp年代。整个系列主要分为五部分,共五篇文章:
1.Python爬取招聘信息,并且存储到MySQL数据库中;
2.调用pyinstaller包将py文件打包成exe可执行文件;
3.设置Windows系统的计划,制作定时任务,每天早上定时执行exe爬虫;
4.结合PHP(因毕业设计指导学生的是PHP系统)简单实现前端招聘信息界面;
5.补充知识:Python调用短信猫发送招聘短信到客户手机。
文章比较基础,希望对您有所帮助,如果文章中存在错误或不足之处。
一. 安装pyinstaller
Py文件通常需要运行在Python编程坏境中,而可执行exe文件更方便,尤其是我们第三篇文章制作定时任务 时,执行exe文件更加方便。
而python将py文件打包成exe可执行文件的方法通常包括两个:pyInstaller和py2exe。这篇文章主要是讲述如何安装pyinstaller包及其打包操作。
你可以再Github中下载进行安装,参考下面"哈士奇说喵"的文章。
下载地址:https://github.com/pyinstaller/pyinstaller/
这篇文章主要介绍pip进行安装的方法,步骤如下:
1.打开cmd,然后去到Python的Scripts文件夹下,如下图所示。
输入安装命令:pip install pyinstaller
2.安装过程如下图所示,调用pip指令安装会进行自动下载及匹配。
3.安装成功后,会在Python/Scripts文件夹下显示该包。
参考文章:关于python打包成exe的一点经验之谈 - ChenJian
将自己的python程序打包成exe - 哈士奇说喵
[Python] 项目打包:5步将py www.sb45475.com 文件打包exe文件 - ccccshq
二. 简单实现exe打包
安装成功pyinstaller扩展包后,需要对文件进行打包操作 。
假设存在一个test01.py文件,功能是打开百度网页,代码如下:
[python] view plain copy
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
driver = webdriver.Firefox()
driver.get("http://www.baidu.com/")
我们将该test01.py文件放到Python安装路径的Scripts下,我的路径如下:
C:\Software\Program Software\Python\Scripts
注意Scripts放置Python的各种第三方扩展包,这里的pyinstaller.exe在此处。
现在需要打包exe程序,步骤:
1.在cmd环境进入该Scripts文件夹路径下;
2.输入指令打包:pyinstaller www.xuancai88c.cn/ - F test01.py
之后你的命令窗(黑框)会运行该代码,并进行打包,运行过程如下图所示。
打包好会在Scripts路径下生成两个文件夹:dist和build,如下图所示。
然后,可执行exe文件在dist文件夹下,如下图所示。
双击该test01.exe,会自动弹出Firefox浏览器,然后访问百度。
更多参数如下图所示:
三. 定时爬虫打包exe文件
下面用同样的方法打包前一篇文章写的定时爬虫代码。步骤如下:
1.将test_zl.py (智联)文件放置Scripts文件夹,与pyinstaller.exe一起。
2.打开cmd,去到Scripts文件夹下。
执行命令: pyinstaller -F test_zl.py
3.生成文件在当前目录下,包括b http://www.wmyl88.com uild和dist文件夹。
4.执行test_zl.exe文件,运行如下图所示。
5.同时数据库如下,可以看到4月23日的招聘信息被爬取成功。
后面还将继续探寻、继续写文,写完这种单击版的定时发送功能,后面研究Python服务器的相关功能。
风雪交加雨婆娑,
琴瑟和鸣泪斑驳。
披星戴月辗转梦,
娜璋白首爱连绵。
最后希望文章对你有所帮助,如果文章中存在错误或不足之处,还请海涵~
Python爬取招聘信息,并且存储到MySQL数据库中的更多相关文章
- python爬取网页数据并存储到mysql数据库
#python 3.5 from urllib.request import urlopen from urllib.request import urlretrieve from bs4 impor ...
- 使用HtmlAgilityPack爬取网站信息并存储到mysql
前言:打算做一个药材价格查询的功能,但刚开始一点数据都没有靠自己找信息录入的话很麻烦的,所以只有先到其它网站抓取存到数据库再开始做这个了. HtmlAgilityPack在c#里应该很多人用吧,简单又 ...
- Python爬取网页信息
Python爬取网页信息的步骤 以爬取英文名字网站(https://nameberry.com/)中每个名字的评论内容,包括英文名,用户名,评论的时间和评论的内容为例. 1.确认网址 在浏览器中输入初 ...
- python爬取酒店信息练习
爬取酒店信息,首先知道要用到那些库.本次使用request库区获取网页,使用bs4来解析网页,使用selenium来进行模拟浏览. 本次要爬取的美团网的蚌埠酒店信息及其评价.爬取的网址为“http:/ ...
- Python网络爬虫案例(二)——爬取招聘信息网站
利用Python,爬取 51job 上面有关于 IT行业 的招聘信息 版权声明:未经博主授权,内容严禁分享转载 案例代码: # __author : "J" # date : 20 ...
- Python爬取招聘网站数据,给学习、求职一点参考
1.项目背景 随着科技的飞速发展,数据呈现爆发式的增长,任何人都摆脱不了与数据打交道,社会对于“数据”方面的人才需求也在不断增大.因此了解当下企业究竟需要招聘什么样的人才?需要什么样的技能?不管是对于 ...
- (转)python爬取拉勾网信息
学习Python也有一段时间了,各种理论知识大体上也算略知一二了,今天就进入实战演练:通过Python来编写一个拉勾网薪资调查的小爬虫. 第一步:分析网站的请求过程 我们在查看拉勾网上的招聘信息的时候 ...
- 8月份Python招聘情况怎么样?Python爬取招聘数据,并进行分析
前言 拉勾招聘是专业的互联网求职招聘平台.致力于提供真实可靠的互联网招聘求职找工作信息.今天我们一起使用 python 采集拉钩的 python 招聘信息,分析一下找到高薪工作需要掌握哪些技术 开发环 ...
- python爬取招聘网站数据
# -*- coding: utf-8 -*- # 爬虫分析 from bs4 import BeautifulSoup from lxml import etree from selenium im ...
随机推荐
- 决策树 ID3 C4.5 CART(未完)
1.决策树 :监督学习 决策树是一种依托决策而建立起来的一种树. 在机器学习中,决策树是一种预测模型,代表的是一种对象属性与对象值之间的一种映射关系,每一个节点代表某个对象,树中的每一个分叉路径代表某 ...
- py编码终极版
说起python编码,真是句句心酸.算起来,反复折腾两个来月了.万幸的是,终于梳理清楚了.作为一个共产主义者,一定要分享给大家.如果你还在因为编码而头痛,那么赶紧跟着我咱们一起来揭开py编码的真相吧! ...
- 03-CSS中的选择器
高级选择器分为: 后代选择器 子代选择器 并集选择器 交集选择器 后代选择器 使用空格表示后代选择器 , 顾名思义 父元素的后代(包括儿子,孙子,重孙子) 中间空格隔开 是后代 .container ...
- HTTP常用标准请求头字段
常用标准请求头字段 Accept 设置接受的内容类型 Accept: text/plain Accept-Charset 设置接受的字符编码 Accept-Charset: utf-8 Accept- ...
- [ShaderStaff] Sprite Outline外轮廓效果
操作系统:Windows8.1 显卡:Nivida GTX965M 开发工具:Unity5.3.8f1 Unity提供了2D Object Sprite对象,但是没有提供外轮廓Outline效果的支持 ...
- xml和configparser模块
一.xml模块 xml是实现不同语言或程序之间进行数据交换的协议,跟json差不多,但json使用起来更简单, 但至今很多传统公司如金融行业的很多系统的接口还主要是xml. xml的格式如下,就是通过 ...
- char(10)、varchar(10)、nchar(10)、nvarchar(10)的区别
CHAR CHAR是定长的,当输入的字符小于10时,会在后面补空值,如果长度大于10,则会截取超出的字符 CHAR字段上的索引效率级高 VARCHAR 存储边长数据,但存储效率没有CHAR高 从空间上 ...
- libevent源码深度剖析四
libevent源码深度剖析四 ——libevent源代码文件组织 1 前言 详细分析源代码之前,如果能对其代码文件的基本结构有个大概的认识和分类,对于代码的分析将是大有裨益的.本节内容不多,我想并不 ...
- C# ShowDialog时窗体贱传值得方法
用C#开发应用的时候,通常需要多个窗体!有时候为了打开窗体的时候禁止操作父窗体,我们一般采用模态对话框的方法,也算就是用ShowDialog()方法. 假设有两个窗体A和B,A作为主窗体使用ShowD ...
- GROUP BY ROLLUP和CUBE 用法
ROLLUP和CUBE 用法 Oracle的GROUP BY语句除了最基本的语法外,还支持ROLLUP和CUBE语句. 如果是Group by ROLLUP(A, B, C)的话 ...