用Python爬取影视网站,直接解析播放地址。
记录时刻!
写这个爬虫主要是想让自己的爬虫实用,把脚本放到了服务器,成为可随时调用的接口。
思路算是没思路吧!把影视名带上去请求影视网站,然后解析出我们需要的播放地址。
我也把自己的接口分享出来。接口适应手机版,可在QQ打开。(http://hh52.cn:6600/zyw/zxdy/?s=参数)使用方法:get的请求方式,参数处填要搜索的影视名。
另外提醒:廉价服务器,尽量自己挂,如果服务器顶不住会考虑自己用。
放到服务器,用flask框架做web对接。代码不是很规范。
需要装这几个模块。
import requests,re
from flask import Flask
from flask import request
主代码。
@app.route('/zyw/zxdy/')
def bwzy_pc(): #传进来的这个值是要搜索影视名
value=request.args.get('s')
zztj='''<script type="text/javascript">var cnzz_protocol = (("https:" == document.location.protocol) ? " https://" : " http://");document.write(unescape("%3Cspan id='cnzz_stat_icon_1274386182'%3E%3C/span%3E%3Cscript src='" + cnzz_protocol + "s22.cnzz.com/z_stat.php%3Fid%3D1274386182%26show%3Dpic1' type='text/javascript'%3E%3C/script%3E"));</script>'''
url="http://www.baiwanzy.com/index.php?m=vod-search"
data={'wd':value,'submit':'search'}
headers={'Referer':'http://www.baiwanzy.com/index.php?m=vod-search','User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
try:
req=(requests.post(url=url,data=data,headers=headers).text).encode('ISO-8859-1').decode('utf-8') #以post提交数据
re_url=re.findall('<div class="xing_vb">.*?<ul>.*?<li>.*?<a href="(.*?)".*?</ul>.*?</div>',req,re.S)[0] #比配搜索到的第一个链接
url_b='http://www.baiwanzy.com'
if(re_url==url_b):
return ('嗷,居然没有找到!换个短的关键词试试!') #如果没有搜索结果则返回这个
else:
url_2=url_b+re_url #拼接第二个URL
req_url_2=(requests.get(url_2).text).encode('ISO-8859-1').decode('utf-8') #以get的方式请求源码
re_pm=re.findall('<div class="vodh">.*?<h2>(.*?)</h2>.*?<span>(.*?)</span>',req_url_2,re.S)[0][0] #比配片名
re_lj=re.findall('<div class="vodplayinfo">.*?<ul>(.*?)</ul>.*?</div>',req_url_2,re.S)[0] #比配播放链接
re_lj=re_lj.strip() #去掉中前后的空白符
re_mb=re.findall('<li>.*?/>(.*?)</li>',re_lj,re.S) #对数据进行最后的清洗
r=1
html=''
for i in re_mb:
re_i=re.findall('.*?http(.*)',i,re.S)[0] #考虑之后决定这里再比配一次链接
htm='第%d集<a href="http%s">http%s</a><br>'%(r,re_i,re_i) #这里拼接超链接
r=r+1
html=html+htm
return re_pm+'<br>'+html+zztj
except:return '啥?出现未知错误。' #当爬虫出现错误时返回这个
if __name__ == '__main__':
app.run (port='',host='0.0.0.0') #
用Python爬取影视网站,直接解析播放地址。的更多相关文章
- python爬取某个网站的图片并保存到本地
python爬取某个网站的图片并保存到本地 #coding:utf- import urllib import re import sys reload(sys) sys.setdefaultenco ...
- 用Python爬取斗鱼网站的一个小案例
思路解析: 1.我们需要明确爬取数据的目的:为了按热度查看主播的在线观看人数 2.浏览网页源代码,查看我们需要的数据的定位标签 3.在代码中发送一个http请求,获取到网页返回的html(需要注意的是 ...
- Python爬取招聘网站数据,给学习、求职一点参考
1.项目背景 随着科技的飞速发展,数据呈现爆发式的增长,任何人都摆脱不了与数据打交道,社会对于“数据”方面的人才需求也在不断增大.因此了解当下企业究竟需要招聘什么样的人才?需要什么样的技能?不管是对于 ...
- 利用Python爬取电影网站
#!/usr/bin/env python #coding = utf-8 ''' 本爬虫是用来爬取6V电影网站上的电影资源的一个小脚本程序,爬取到的电影链接会通过网页的形式显示出来 ''' impo ...
- python爬取招聘网站数据
# -*- coding: utf-8 -*- # 爬虫分析 from bs4 import BeautifulSoup from lxml import etree from selenium im ...
- Python爬取某网站文档数据完整教程(附源码)
基本开发环境 (https://jq.qq.com/?_wv=1027&k=NofUEYzs) Python 3.6 Pycharm 相关模块的使用 (https://jq.qq.com/?_ ...
- python爬取电影网站信息
一.爬取前提1)本地安装了mysql数据库 5.6版本2)安装了Python 2.7 二.爬取内容 电影名称.电影简介.电影图片.电影下载链接 三.爬取逻辑1)进入电影网列表页, 针对列表的html内 ...
- Python爬取mn52网站美女图片以及图片防盗链的解决方法
防盗链原理 http标准协议中有专门的字段记录referer 一来可以追溯上一个入站地址是什么 二来对于资源文件,可以跟踪到包含显示他的网页地址是什么 因此所有防盗链方法都是基于这个Referer字段 ...
- 用python实现多线程爬取影视网站全部视频方法【笔记】
我拿这个站点作为案例:https://91mjw.com/ 其他站点方法都是差不多的. 第一步:获得整站所有的视频连接 html = requests.get("https://91mjw ...
随机推荐
- shell编程笔记1
参考文章:1 http://blog.csdn.net/wuwenxiang91322/article/details/9259877 通过chmod改变文件权限 补充知识: 1Linux文件的三 ...
- [ZJOI2015]诸神眷顾的幻想乡 广义后缀自动机_DFS_语文题
才知道题目中是只有20个叶子节点的意思QAQ.... 这次的广义后缀自动机只是将 last 设为 1, 并重新插入. 相比于正统的写法,比较浪费空间. Code: #include <cstdi ...
- Node_进阶_7
Node进阶第七天 一.复习 一.索引 数据库中,根据一个字段的值,来寻找一个文档,是很常见的操作.比如根据学号来找一个学生.这个学号是唯一的.只要有学号,就能唯一确认一个学生的文档.学号这个属性 ...
- 紫书 习题11-11 UVa 1644 (并查集)
这道题感觉思路非常巧妙, 我是看了别人的博客才想明白的. 这里用到了并查集, 以根节点为中心城市, 然后把边从大到小排序, 每次的当前的边即为容量, 因为是目前的最小值, 然后去算总的容量, 每次选容 ...
- Edward Frenkel关于几何化朗兰兹纲领的采访
本文来自:菲尔兹奖座谈会 博客 Edward Frenkel教授的主要研究方向是数学与量子物理中的对称.他现在在做的许多问题都与朗兰兹纲领有关.他现在是加州大学伯克利分校的数学教授. 在今年的菲尔兹奖 ...
- 2015 Multi-University Training Contest 3 hdu 5317 RGCDQ
RGCDQ Time Limit: 6000/3000 MS (Java/Others) Memory Limit: 65536/65536 K (Java/Others)Total Submi ...
- CSDN 轻松周赛赛题:能否被8整除
轻松周赛赛题:能否被8整除 题目详情 给定一个非负整数,问能否重排它的全部数字,使得重排后的数能被8整除. 输入格式: 多组数据,每组数据是一个非负整数.非负整数的位数不超过10000位. 输出格式 ...
- 【iOS开发-47】怎样下载iOS 7.1 Simulator 以及iOS 8离线的Documentation这些文件?
(1)最官方的解决的方法 在Xcode6里面提供下载. 依照下图找到下载就可以. 一般建议把以下的自己主动检查更新和下载的框框勾起来,这样它会帮我们自己主动下载. watermark/2/text/a ...
- Swift中实现Array数组和NSArray数组的相互转换与遍历
Array是Swift中的数组数据类型.而NSArray是OC中的数组数据类型.两者有差别有联系.在Swift中有时候难免会使用到OC中的一些东西.今天我们就来Swift中使用NSArray和Arra ...
- Caffe-python interface 学习|网络训练、部署、測试
继续python接口的学习.剩下还有solver.deploy文件的生成和模型的測试. 网络训练 solver文件生成 事实上我认为用python生成solver并不如直接写个配置文件,它不像net配 ...