前言 你是否觉得 XPath 的用法多少有点晦涩难记呢? 你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢? 你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢? 你是否已经有了一些前端基础了解选择器却与另外一些奇怪的选择器语法混淆了呢? 嗯,那么,前端大大们的福音来了,PyQuery 来了,乍听名字,你一定联想到了 jQuery,如果你对 jQuery 熟悉,那么 PyQuery 来解析文档就是不二之选!包括我在内! PyQuery 是 Python 仿照 jQuery…

前言 之前我们用了 urllib 库,这个作为入门的工具还是不错的,对了解一些爬虫的基本理念,掌握爬虫爬取的流程有所帮助.入门之后,我们就需要学习一些更加高级的内容和工具来方便我们的爬取.那么这一节来简单介绍一下 requests 库的基本用法. 安装 利用 pip 安装 ​$ pip install requests 或者利用 easy_install ​$ easy_install requests 通过以上两种方法均可以完成安装. 引入 首先我们引入一个小例子来感受一下 ​ import…

安装 ​pip install lxml 利用 pip 安装即可 XPath语法 XPath 是一门在 XML 文档中查找信息的语言.XPath 可用来在 XML 文档中对元素和属性进行遍历.XPath 是 W3C XSLT 标准的主要元素,并且 XQuery 和 XPointer 都构建于 XPath 表达之上. 节点关系 (1)父(Parent) 每个元素以及属性都有一个父. 在下面的例子中,book 元素是 title.author.year 以及 price 元素的父: ​<book>…

https://cuiqingcai.com/1319.html https://cuiqingcai.com/2556.html https://cuiqingcai.com/977.html…

urllib包 urllib是一个包含几个模块来处理请求的库:  - urllib.request发送http请求  - urllib.error处理请求过程中出现的异常  - urllib.parse解析url  - urllib.robotparser解析robots.txt文件 一般我们爬虫只需要常用的几个,下面只列出比较常用的函数 我们使用urllib模块,那就要引用模块 import urllib.request urlreteieve:直接下载网页到本地 格式 urlreteieve…

简介 现在越来越多的场景需要我们使用网络爬虫,抓取相关数据便于我们使用,今天我们要讲的主角Html Agility Pack是在爬取的过程当中,能够高效的解析我们抓取到的html数据. 优势 在.NET技术下,解析html工具也很多,比如很多人可能会使用htmlparser,或者微软的MSHTML,htmlparser虽然比较易上手,但是相对应的解析速度较慢,而Html Agility Pack解析速度相当快,并且开源,易用,它可以帮助我们解析html文档就像用XmlDocument类来解析xm…

pipenv 都包含什么? pipenv 是 Pipfile 主要倡导者.requests 作者 Kenneth Reitz 写的一个命令行工具,主要包含了Pipfile.pip.click.requests和virtualenv.Pipfile和pipenv本来都是Kenneth Reitz的个人项目,后来贡献给了pypa组织.Pipfile是社区拟定的依赖管理文件,用于替代过于简陋的 requirements.txt 文件. Pipfile的基本理念是: Pipfile 文件是 TOML 格…

一.安装Ulipad 因为ulipad编辑器使用的是wxpython编写的gui,所以我们需要第三方库wxpython的支持,先讲一下Ulipad在Windows系统环境下的安装: 1. 确实自己的windows版本,32位还是64位的.2. 查看自己安装的 Python版本,我使用的版本是:Python2.7.133. 对应的去wxpython官网:http://www.wxpython.org/download.php 或到脚本之家下载页面,选择适合自己系统的wxpython版本. 4. 找…

前言 之前学习异步asyncio库的时候,因为asyncio库支持Python3.5以上的版本,而我的Ubuntu14.04只有Python3.4,虽然下载了Python3.6,但是想直接利用ipython3或者pip3调用Python3.6相关的东西有点困难,可能是我手法不对,有点混乱. 之前只是简单的用过virtualenv,直到发现了这个pipenv,有点吊炸天. Python开发者应该听过pip.easy_install和virtualenv,如果看过我的书应该还知道 virtualen…

诚言,对于开发码字者,Mac和Linux果断要比Windows更贴心;但只要折腾下,Windows下也是有不少利器的.之前就有在Windows下效率必备软件一文中对此做了下记载:其虽没oh-my-zsh那么逆天的存在,却也甚是好用,至少要比Windows原生Cmd好出了天际.因为好用,所以"必备" 如觉此处排版不尽如您意,请移步原文首链-晚晴幽草轩or简书 安裝 cmder Cmder官网http://cmder.net/(她把conemu,msysgit和clink打包在一起,让你无…