利用爬虫爬取LOL官网上皮肤图片
今天在浏览网页时,看到一篇很有意思的文章,关于网络爬虫的。该文章是讲述如何利用request爬取英雄联盟官网皮肤图片。看过文章后觉得挺有用的,把代码拿过来运行了一下,果真爬取成功。下面给大家分享一下代码。
首先得利用cmd命令指示符安装requests库,json,re,time。
安装完成后,第一步是获取英雄ID从而为先面判决URL作准备。
def getLOLImages():
header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'}
url_js = 'http://lol.qq.com/biz/hero/champion.js'
#获取JS源代码 Str bytes
res_js = requests.get(url_js).content
#转码 转成字符串
html_js = res_js.decode()
#正则表达式
req = '"keys":(.*?),"data"'
list_js = re.findall(req,html_js)
#转成dict
dict_js = json.loads(list_js[0])
# print(type(dict_js))
#定义图片列表
pic_list = []
for key in dict_js:
# print(key)#英雄ID
第二步就是拼接URL了,通过发现英雄皮肤url的取名方式,我们可以方向最后的数字是不同的。让后通过此方法来获取图片地址。
for i in range(20):
number = str(i)
if len(number) == 1:
hero_num = ""+number
elif len(number) == 2:
hero_num = ""+number
numstr = key+hero_num
url = "http://ossweb-img.qq.com/images/lol/web201310/skin/big"+numstr+".jpg"
#http://ossweb-img.qq.com/images/lol/web201310/skin/big81000.jpg
pic_list.append(url)
第三步是获取图片名称,path那行是放置图片的地址,注意结尾的\\不能丢。
list_filepath = []
path = "D:\Pycharmdaima\Pachong\LOLTU\\"
for name in dict_js.values():
for i in range(20):
file_path = path+name+str(i)+'.jpg'
list_filepath.append(file_path)
第四步就是下载图片了。
n = 0
for picurl in pic_list:
res = requests.get(picurl)
n += 1
#获取状态码
if res.status_code == 200:
print("正在下载%s"%list_filepath[n])
time.sleep(1)
with open(list_filepath[n],'wb') as f:
f.write(res.content)
最后,调用一下getLOLImages()方法
getLOLImages()
注意,我第一次用了源码,后来发现运行太慢,检查一下源码后发现代码末尾调用了一个time.sleep()方法。这样是为了限制爬取速度,避免速度过快被网站发现而中断。经过调试,我中途暂停代码运行,将sleep()方法注释掉,爬取速度果然加快,而且没有中断。
下面是我的爬取成果:
利用爬虫爬取LOL官网上皮肤图片的更多相关文章
- python爬虫---爬取王者荣耀全部皮肤图片
代码: import requests json_headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win ...
- 利用python爬取王者荣耀英雄皮肤图片
前两天看到同学用python爬下来LOL的皮肤图片,感觉挺有趣的,我也想试试,于是决定来爬一爬王者荣耀的英雄和皮肤图片. 首先,我们找到王者的官网http://pvp.qq.com/web201605 ...
- 利用爬虫爬取指定用户的CSDN博客文章转为md格式,目的是完成博客迁移博文到Hexo等静态博客
文章目录 功能 爬取的方式: 设置生成的md文件命名规则: 设置md文件的头部信息 是否显示csdn中的锚点"文章目录"字样,以及下面具体的锚点 默认false(因为csdn中是集 ...
- python爬虫–爬取煎蛋网妹子图片
前几天刚学了python网络编程,书里没什么实践项目,只好到网上找点东西做. 一直对爬虫很好奇,所以不妨从爬虫先入手吧. Python版本:3.6 这是我看的教程:Python - Jack -Cui ...
- <scrapy爬虫>爬取校花信息及图片
1.创建scrapy项目 dos窗口输入: scrapy startproject xiaohuar cd xiaohuar 2.编写item.py文件(相当于编写模板,需要爬取的数据在这里定义) # ...
- Python爬虫爬取百度贴吧的图片
根据输入的贴吧地址,爬取想要该贴吧的图片,保存到本地文件夹,仅供参考: #!/usr/bin/python#_*_coding:utf-8_*_import urllibimport urllib2i ...
- Python 爬虫-爬取京东手机页面的图片
具体代码如下: __author__ = 'Fred Zhao' import requests from bs4 import BeautifulSoup import os from urllib ...
- 一个简单的定向python爬虫爬取指定页面的jpg图片
import requests as r import re resul=r.get("http://www.imooc.com/course/list") urlinfo=re. ...
- python爬虫爬取煎蛋网妹子图片
import urllib.request import os def url_open(url): req = urllib.request.Request(url) req.add_header( ...
随机推荐
- Android 列表(ListView、RecyclerView)不断刷新最佳实践
本文微信公众号「AndroidTraveler」首发. 背景 在 Android 列表开发过程中,有时候我们的 Item 会有一些组件,比如倒计时.这类组件要求不断刷新,这个时候由于列表复用的机制,因 ...
- PHP current
1.函数的作用:返回数组的当前元素 2.函数的参数: @params array &$array 3.例子: <?php $arr = [null,'PK',false]; : ; ec ...
- 手把手教你搭建HEXO免费博客
一.环境搭建 node安装 百度搜索node,进入官网.下载稳定版: 下载好后直接打开安装 我这里将其安装在D盘(可以自己选择安装位置) 可以看到安装包中已经自带npm包管理工具 等待安装完成后,WI ...
- margin与padding的区别与用法—以及出现bug的解决方法
margin(外边距) padding(内边距) 一.语法结构 (1)margin-left:10px; 左外边距 (2)margin-right:10px; 右外边距 (3)margin-top ...
- 就改了get,却不让我set?——Java内省机制的神奇行为举止一例
[相关类库]org.apache.commons.beanutils.BeanUtils,提供对Java反射和自省API的包装,其中底层使用到了Java的内省方法.[内省的一般应用形式]通过类Intr ...
- go-json类
package main import ( "encoding/json" "fmt" ) /* { "company":"itc ...
- Twitter-Snowflake:自增ID算法
简介 Twitter 早期用 MySQL 存储数据,随着用户的增长,单一的 MySQL 实例没法承受海量的数据,后来团队就研究如何产生完美的自增ID,以满足两个基本的要求: 每秒能生成几十万条 ID ...
- linux文档、目录相关
linux中常用文档的目录规则: /var 存放经常变化的文件 /home 普通用户家目录 /home/xiaoliu 小刘同学的用户家目录 /etc 存放配置文件的目录 /etc/my.cnf my ...
- git jenkins 基本部署 jenkins持续集成
1.什么是持续集成? 持续集成来简化我们的工作 还能让产品可以快速迭代,同时还能保持代码高质量产出.2.Jenkins的安装配置: [root@jenkins ~]# yum inst ...
- Linux 修改网卡名
1. 修改网卡配置文件 vim /etc/sysconfig/network-scripts/ifcfg-ens32 (“ens32”为当前网卡名) 将NAME.DEVICE项修改为eth0 2. ...