python爬取12306及各参数的使用。完整代码

【python爬取12306及各参数的使用。完整代码】的更多相关文章

python爬取12306及各参数的使用。完整代码

import requestsfrom retrying import retryreuquests和retrying的下载及安装可以通过命令行pip install 口令实现 # 调用重连装饰器固定格式,最大重试3次@retry(stop_max_attempt_number=3)def get12306(): print("123") # 此时的123,代码报错打印3次,成功爬取只打印1次 url = "https://www.12306.cn/mormhweb/&quo…

Python 爬取12306火车票

获取火车站 stations.py #import certifi #import urllib3 import re import requests from pprint import pprint url = 'https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.9001' response = requests.get(url, verify=False) stations…

Python:爬取乌云厂商列表，使用BeautifulSoup解析

在SSS论坛看到有人写的Python爬取乌云厂商,想练一下手,就照着重新写了一遍原帖:http://bbs.sssie.com/thread-965-1-1.html #coding:utf- import urllib2 from bs4 import BeautifulSoup url = 'http://wooyun.org/corps/page/' total_page = count = file = open('wooyunCS1.csv', 'w') , total_page +…

使用python爬取MedSci上的期刊信息

使用python爬取medsci上的期刊信息,通过设定条件,然后获取相应的期刊的的影响因子排名,期刊名称,英文全称和影响因子.主要过程如下: 首先,通过分析网站http://www.medsci.cn/sci的交互过程.可以使用谷歌或火狐浏览器的“审查元素-->Network”,然后就可以看到操作页面就可以看到网站的交互信息.当在网页上点击“我要查询”时,网页会发送一个POST消息给服务器,然后,服务器返回查询结果然后,将查询到的结果使用正则表达式提取出需要的数据. 最后将提取出的数据输出到文…

python爬取免费优质IP归属地查询接口

python爬取免费优质IP归属地查询接口具体不表,我今天要做的工作就是: 需要将数据库中大量ip查询出起归属地刚开始感觉好简单啊,毕竟只需要从百度找个免费接口然后来个python脚本跑一晚上就ok了嘛~但是,网上免费接口要么限制访问频率(淘宝的),要么限制访问次数(百度及其他) 没辙了,从百度找到了几个在线查询的接口,要么不够准确(或者说她们的数据库太旧了),要么就是速度太慢了,跟限制访问似的(没办法,小规模人家的服务器的确不够好) 于是乎就想到了百度首页的ip接口,就这货: 为了防止泄露…

Python爬取豆瓣指定书籍的短评

Python爬取豆瓣指定书籍的短评 #!/usr/bin/python # coding=utf-8 import re import sys import time import random import urllib import urllib2 import MySQLdb # 爬取豆瓣评论 class Douban: # 构造函数 def __init__(self, url, name): # 采集的地址 #self.url = 'https://book.douban.com/su…

python爬取网页的通用代码框架

python爬取网页的通用代码框架: def getHTMLText(url):#参数code缺省值为‘utf-8’(编码方式) try: r=requests.get(url,timeout=30) r.raise_for_status() #如果状态不是200,也就是返回的内容不是正常的数据,引发HTTPError异常 r.encoding=r.apparent_encoding return r.text #返回网页的内容 except: return '产生异常' #如果网页有问题,则触…