BeautifulSoup是一个可以从HTML或者XML文件中提取数据的Python库,它通过解析器把文档解析为利于人们理解的文档导航模式,有利于查找和修改文档. BeautifulSoup3目前已经停止开发,现在推荐使用BeautifulSoup4,它被移植到了bs4中. # 使用时需要导入 from bs4 import BeautifulSoup 解析器 BeautifulSoup4中常用4种主要的解析器,使用前需要安装: #不同系统安装方法 $ apt-get install Pytho…

1. 月份的加减 https://blog.csdn.net/qq_18863573/article/details/79444094 第三方模块:python-dateutil import datetime from dateutil.relativedelta import relativedelta datetime_now = datetime.datetime.now() datetime_three_month_ago = datetime_now - relativedelta(…

参考  http://docs.python-requests.org/zh_CN/latest/user/quickstart.html 1.传递url参数 >>> payload = {'key1': 'value1', 'key2': 'value2'} >>> r = requests.get("http://httpbin.org/get", params=payload) >>> print(r.url) http://…

http://www.cnblogs.com/bitpeng/p/4748872.html Python中文乱码,是一个很大的坑,自己不知道在这里遇到多少问题了.还好通过自己不断的总结,现在遇到乱码的情况越来越少,就算出现,一般也能快速解决问题.这个问题,我七月就解决了,今天总结出来,和朋友一起分享. 最近写过好几个爬虫,熟悉了下python requests库的用法,这个库真的Python的官方api接口好用多了.美中不足的是:这个库好像对中文的支持不是很友好,有些页面会出现乱码,然后换成ur…

官方文档 以下内容大多来自于官方文档,本文进行了一些修改和总结.要了解更多可以参考 官方文档 安装 利用 pip 安装 $ pip install requests 或者利用 easy_install $ easy_install requests 通过以上两种方法均可以完成安装. 引入 首先我们引入一个小例子来感受一下 import requests r = requests.get('http://cuiqingcai.com') print type(r) print r.status_c…

Python标准库中的random函数,可以生成随机浮点数.整数.字符串,甚至帮助你随机选择列表序列中的一个元素,打乱一组数据等.random中的一些重要函数的用法:1 ).random() 返回0<=n<1之间的随机实数n:2 ).choice(seq) 从序列seq中返回随机的元素:3 ).getrandbits(n) 以长整型形式返回n个随机位:4 ).shuffle(seq[, random]) 原地指定seq序列:5 ).sample(seq, n) 从序列seq中选择n个随机且独立…

python爬虫---selenium库的用法 selenium是一个自动化测试工具,支持Firefox,Chrome等众多浏览器 在爬虫中的应用主要是用来解决JS渲染的问题. 1.使用前需要安装这个第三方库,CMD下: pip install selenium 2.为你的测试浏览器下载驱动,我用的是Chrome,对应的去百度一下Chrome webdrive下载,并解压到python安装目录scripts下. 开始使用 from selenium import webdrive browser…

glob库是最简单的模块之一,内容非常少.用它可以查找符合特定规则的文件路径名.跟使用 windows 下的文件搜索差不多.查找文件只用到三个匹配符: ”*”, 匹配 个或多个字符: “?”, ”?”匹配单个字符: “[]”:”[]”匹配指定范围内的字符,如:[-]匹配数字: 参考文章:原文:https://blog.csdn.net/lanchunhui/article/details/70170813 import glob print(glob.glob(r"*")) user_…

官网地址:http://www.makotemplates.org/ 文档地址:http://docs.makotemplates.org/ 中文文档基本用法地址:http://www.open-open.com/lib/view/open1405317963680.html 介绍: Mako是一个高性能的Python模板库,Python官网python.org用的就是它 简单用法 from mako.template import Template print(Template("hello…

1. Beautiful Soup 简介 简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据.官方解释如下: Beautiful Soup提供一些简单的.python式的函数用来处理导航.搜索.修改分析树等功能.它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序.Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码.你不需要考虑编码方式,除非文档没有指定…