Python 爬虫实例(5)—— 爬取爱奇艺视频电视剧的链接(2017-06-30 10:37)
1. 我们找到 爱奇艺电视剧的链接地址
http://list.iqiyi.com/www/2/-------------11-1-1-iqiyi--.html
我们点击翻页发现爱奇艺的链接是这样的规律
http://list.iqiyi.com/www/2/-------------11-2-1-iqiyi--.html
http://list.iqiyi.com/www/2/-------------11-3-1-iqiyi--.html
2. 我们分析 http://list.iqiyi.com/www/2/-------------11-1-1-iqiyi--.html 请求过程
3.最后 粘贴出来代码
# coding:utf-8 import re
import json, time
from bs4 import BeautifulSoup import sys
reload(sys)
sys.setdefaultencoding('utf-8') import requests session = requests.session() def aiqiyi(): for i in range(1,2000):
url = "http://list.iqiyi.com/www/2/-------------11-"+ str(i) +"-1-iqiyi--.html"
if i == 1:
Referer = "http://list.iqiyi.com/www/2/-------------11-"+ str(i) +"-1-iqiyi--.html"
else:
Referer = "http://list.iqiyi.com/www/2/-------------11-" + str(i-1) + "-1-iqiyi--.html" headers = { "Host":"list.iqiyi.com",
"Connection":"keep-alive",
"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
"Upgrade-Insecure-Requests":"",
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36",
"Referer":Referer,
"Accept-Encoding":"gzip, deflate, sdch",
"Accept-Language":"zh-CN,zh;q=0.8",
} result = session.get(url=url,headers=headers).text soup = BeautifulSoup(result, 'html.parser')
returnSoup = soup.find_all("div", attrs={"class": "wrapper-piclist"})[0]
returnSoup1= str(returnSoup).replace('\r\n','').replace('\n','').replace(' ','').replace('"rseat="bigTitle','') href_title = re.findall('"data-widget-qidanadd="qidanadd"href="(.*?)"target="_blank"title=".*?"><imgalt="(.*?)"height="236"rseat="dsjp7"src=',str(returnSoup1)) for i in href_title:
href = i[0]
title = i[1] href = str(href).split('#')[0]
headers = { "Connection":"keep-alive",
"Accept-Encoding":"gzip, deflate, sdch",
"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36",
"Accept-Language":"zh-CN,zh;q=0.8",
"Host":"www.iqiyi.com",
"Upgrade-Insecure-Requests":"", }
result2 = session.get(url=href,headers=headers).text result3 = str(result2).replace('\r\n','').replace(' ','').replace('\n','').replace(' ','').replace(' ','')
resultre = re.findall('<pclass="site-piclist_info_title"><ahref="(.*?)"rseat="705233_title"target="_blank">(.*?)</a></p>',str(result3)) for i in resultre:
print i[0],i[1],"-----------",title time.sleep(2000) aiqiyi()
输出的结果是:
C:\Python27\python.exe C:/Users/xuchunlin/PycharmProjects/study/app/project/aiqiyiUrl.py
http://www.iqiyi.com/v_19rr91tio0.html 第1集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr91wki8.html 第2集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr91d9o0.html 第3集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr91c0yg.html 第4集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr90uigk.html 第5集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr90t1gc.html 第6集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8qb2ow.html 第7集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8q9fi4.html 第8集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8pr00c.html 第9集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8p0qdc.html 第10集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8occ3k.html 第11集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8npdfc.html 第12集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8nq9qw.html 第13集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8mzwhw.html 第14集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8n3c9k.html 第15集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8mcd7o.html 第16集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8mczus.html 第17集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8lscsk.html 第18集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8lq2c8.html 第19集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8v32rw.html 第20集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8uhouw.html 第21集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8tpcss.html 第22集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8t439c.html 第23集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8t1sdw.html 第24集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8sgdug.html 第25集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8sjsvc.html 第26集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8rx3j8.html 第27集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8rvxm0.html 第28集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8r96f0.html 第29集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8rdces.html 第30集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8qrzs4.html 第31集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rrdzwrsw.html 第32集 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8qw4r4.html 第33集预告 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8qqp08.html 第34集预告 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr8n78oo.html 第35集预告 ----------- 美味奇缘
http://www.iqiyi.com/v_19rr92rmic.html 第36集预告 ----------- 美味奇缘
1
Python 爬虫实例(5)—— 爬取爱奇艺视频电视剧的链接(2017-06-30 10:37)的更多相关文章
- Python爬虫实例:爬取B站《工作细胞》短评——异步加载信息的爬取
很多网页的信息都是通过异步加载的,本文就举例讨论下此类网页的抓取. <工作细胞>最近比较火,bilibili 上目前的短评已经有17000多条. 先看分析下页面 右边 li 标签中的就是短 ...
- Python爬虫实例:爬取猫眼电影——破解字体反爬
字体反爬 字体反爬也就是自定义字体反爬,通过调用自定义的字体文件来渲染网页中的文字,而网页中的文字不再是文字,而是相应的字体编码,通过复制或者简单的采集是无法采集到编码后的文字内容的. 现在貌似不少网 ...
- Python爬虫实例:爬取豆瓣Top250
入门第一个爬虫一般都是爬这个,实在是太简单.用了 requests 和 bs4 库. 1.检查网页元素,提取所需要的信息并保存.这个用 bs4 就可以,前面的文章中已经有详细的用法阐述. 2.找到下一 ...
- 使用selenium 多线程爬取爱奇艺电影信息
使用selenium 多线程爬取爱奇艺电影信息 转载请注明出处. 爬取目标:每个电影的评分.名称.时长.主演.和类型 爬取思路: 源文件:(有注释) from selenium import webd ...
- 如何利用python爬虫爬取爱奇艺VIP电影?
环境:windows python3.7 思路: 1.先选取你要爬取的电影 2.用vip解析工具解析,获取地址 3.写好脚本,下载片断 4.将片断利用电脑合成 需要的python模块: ##第一 ...
- Python爬虫实战案例:爬取爱奇艺VIP视频
一.实战背景 爱奇艺的VIP视频只有会员能看,普通用户只能看前6分钟.比如加勒比海盗5的URL:http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1 ...
- Python爬取爱奇艺资源
像iqiyi这种视频网站,现在下载视频都需要下载相应的客户端.那么如何不用下载客户端,直接下载非vip视频? 选择你想要爬取的内容 该安装的程序以及运行环境都配置好 下面这段代码就是我在爱奇艺里搜素“ ...
- Python爬虫训练:爬取酷燃网视频数据
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 项目目标 爬取酷燃网视频数据 https://krcom.cn/ 环境 Py ...
- Python爬取爱奇艺【老子传奇】评论数据
# -*- coding: utf-8 -*- import requests import os import csv import time import random base_url = 'h ...
随机推荐
- Debian学习笔记
14.1. 禁止非root用户登录系统 在/etc目录下新建一个nologin文本文件,内容随意.当系统发现该文件,就会禁止其它用户登录,并显示该文件内容. 14.2. 禁用CTRL+ALT+DEL组 ...
- android DrawerLayout 侧边栏实现
现在实现侧边栏比较简单了,官方提供的DrawerLayout可以很方便实现. 主要实现方法是:用DrawerLayout 作为界面根控件.在DrawerLayout里面第一个View为当前界面主内容: ...
- Android Binder总结
1. MediapplayerService 的启动,怎样在ServiceManager注冊的,不解说详细的细节 ServiceManager 是整个系统的Service总管,其余的系统服务都是通过d ...
- jquery动态创建表格
1.代码实例 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UT ...
- ThreadLocal实现session中用户信息 的线程间共享
转载自:http://blog.sina.com.cn/s/blog_4b5bc01101013gok.html ThreadLocal并不难理解,我总结的最简单的理解就是: ThreadLocal像 ...
- jquery选择div下的ul下的li下的a
使用jQuery选择器: $("div#div的id ul li a")//选择的是div下 ul下所有li下的所有a标签 $("div#div的id").ch ...
- linux 的空命令:(冒号)
php里面又“空操作”这个东西,于是想一想linux的命令中是否有“空命令”这种东西,搜索一下,结果发现真的有这个东西存在 -------:) 冒号 : 就是空命令.即什么也不做,是一个命令占位符 # ...
- ORCU浅析之安装和作用
众所周知,在安装Oracle BIEE之前需要安装Oracle RCU(Oracle Repository Creation Utility),美其名曰资料档案库.如果单单的从名称上来说,那就是我们实 ...
- 怎样改动android系统字体大小
改动字体大小的方法是运用到一个ActivityManagerNative类 首先先在代码宣告 private Configuration mconfig = new Configuration(); ...
- JAVA设计模式之 訪问者模式【Visitor Pattern】
一.概述 訪问者模式是一种较为复杂的行为型设计模式,它包括訪问者和被訪问元素两个主要组成部分.这些被訪问的元素通常具有不同的类型,且不同的訪问者能够对它们进行不同的訪问操作.在使用訪问者模式时,被訪问 ...