简单的python爬虫--爬取Taobao淘女郎信息
最近在学Python的爬虫,顺便就练习了一下爬取淘宝上的淘女郎信息:手法简单,由于淘宝网站本上做了很多的防爬措施,应此效果不太好!
爬虫的入口:https://mm.taobao.com/json/request_top_list.htm?type=0&page=0
本人代码如下:请各位高人多指教,请留言,不胜感激!!
#_*_coding:utf-8_*_
import unicodedata
import urllib.request
import re
import os
root_url="https://mm.taobao.com/json/request_top_list.htm?type=0&page=" def HexStr2Unicode(Hex_Str):
Unicde_Str = ""
for i in range(0,len(Hex_Str)//4):
chr(int(Hex_Str[i*4:i*4+4], 16))
Unicde_Str += chr(int(Hex_Str[i*4:i*4+4], 16))
return Unicde_Str
def getSiteSet(url):
'''根据传入的roo_url获取到每个淘女郎的个人网址,以及每个淘女郎的名字'''
page=urllib.request.urlopen(url)
cont=page.read()
cont=cont.decode(encoding="gbk")#很关键,原网页淘宝的是gbk编码
# print(cont)
pattern1=r'href=".{1,35}\.htm" target='#匹配个人网址的正则表达式
pattern2=r'class="lady-name" href=".{1,100}<\/a>'#匹配个人名字的表达式
# print(cont)
SiteSet={}
i=1
try:
while len(cont)>5:
matchObj=re.search(pattern1,cont,re.M).group()
nameObj=re.search(pattern2,cont,re.M).group()
# print("------->",matchObj)
if matchObj:
site='https:'+(matchObj[6:-9])
id1=nameObj.find(">")
id2=nameObj.find("<")
# print(name)
name=nameObj[id1+1:id2]
# print("网站地址%d: "%i,site)
# print("淘女郎名字:",name)
SiteSet[name]=site
index=cont.find(nameObj)
i+=1
else:
print("没有匹配上") cont=cont[index+2:]
except:
# import traceback
# traceback.print_exc()
print("*********Match error****************")
return SiteSet # SiteSet=getSiteSet("https://mm.taobao.com/json/request_top_list.htm?type=0&page=0") def getImgSet(site_url):
'''根据某个具体的网址,获取该网址中所有图片的路径'''
page=urllib.request.urlopen(site_url)
cont=page.read().decode("gbk").encode("utf-8")
cont=str(cont,encoding="utf-8")
pattern=r'src=\"\/\/.{0,150}(.jpg|.png)\"'
ImgSet=[]
index=0
i=1
try:
while len(cont)>100: matchObj=re.search(pattern,cont,re.M).group()
# print("------->",matchObj)
if matchObj:
img='https:'+(matchObj[5:-1])
# print("图片地址%d: "%i,img)
ImgSet.append(img)
index=cont.find(matchObj)
i+=1
else:
print("没有匹配上") cont=cont[index+len(matchObj[5:-1]):]
except:
print("-----------------------") return ImgSet # ImgSet=getImgSet("https://mm.taobao.com/434479822.htm")
# ImgSet=set(list(ImgSet))#集合元素去重 def getIconSet(url):
'''根据roo_url,获取每个淘女郎的头像icon图片'''
page=urllib.request.urlopen(url)
cont=page.read()
cont=str(cont)
head="<img src="
tail=".jpg"
k=1
IconSet=[]
while k!=0:
id1=cont.find(head)
id2=cont.find(tail,id1)
if id1==-1 or id2==-1:
k=0
break
else:
icon="https:"+cont[id1+len(head)+1:id2+len(tail)]
cont=cont[id2:]
IconSet.append(icon)
print(icon)
return IconSet
#我们可以使用自己定义的auto_down()来代替python的urllib.urlretrieve()函数,实现我们自动重新下载的目标。
# tips:新下载的文件会覆盖原来下载不完全的文件。
def auto_down(url,filename):
'''使用自定义的方法进行下载文件,如果下载失败,还可以继续下载覆盖原来的文件'''
try:
# 添加头部信息,模仿浏览器,但是淘宝对于爬虫的爬取,做了很多防爬的措施,因此,及时添加了header头部信息,效果也并不好
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}
req = urllib.request.Request(url=url, headers=headers)
urllib.request.urlretrieve(url,filename)
except urllib.request.ContentTooShortError:
print('Network conditions is not good.Reloading.')
auto_down(url,filename) # urllib.request.urlopen(req).read()
base =r"C:\Users\wujian\Desktop\python学习\TaobaoGirlImg\\"
for i in range(1,6):
url=root_url+str(i)
SiteSet=getSiteSet(url)
for site in SiteSet.keys():
i=1
filename=base+site
os.mkdir(filename)# 创建文件夹
print(filename)
ImgSet=getImgSet(SiteSet[site])
ImgSet=set(list(ImgSet))
for imgurl in ImgSet:
# print(imgurl)
file_name=filename+"\\"+str(i)+".jpg"
auto_down(imgurl,file_name)
i+=1
爬虫--爬取淘宝信息
简单的python爬虫--爬取Taobao淘女郎信息的更多相关文章
- 一个简单的python爬虫,爬取知乎
一个简单的python爬虫,爬取知乎 主要实现 爬取一个收藏夹 里 所有问题答案下的 图片 文字信息暂未收录,可自行实现,比图片更简单 具体代码里有详细注释,请自行阅读 项目源码: # -*- cod ...
- Python爬虫-爬取京东商品信息-按给定关键词
目的:按给定关键词爬取京东商品信息,并保存至mongodb. 字段:title.url.store.store_url.item_id.price.comments_count.comments 工具 ...
- python爬虫爬取汽车页面信息,并附带分析(静态爬虫)
环境: windows,python3.4 参考链接: https://blog.csdn.net/weixin_36604953/article/details/78156605 代码:(亲测可以运 ...
- python爬虫爬取全球机场信息
--2013年10月10日23:54:43 今天需要获取机场信息,发现一个网站有数据,用爬虫趴下来了所有数据: 目标网址:http://www.feeyo.com/airport_code.asp?p ...
- python爬虫抓取哈尔滨天气信息(静态爬虫)
python 爬虫 爬取哈尔滨天气信息 - http://www.weather.com.cn/weather/101050101.shtml 环境: windows7 python3.4(pip i ...
- 用Python爬虫爬取广州大学教务系统的成绩(内网访问)
用Python爬虫爬取广州大学教务系统的成绩(内网访问) 在进行爬取前,首先要了解: 1.什么是CSS选择器? 每一条css样式定义由两部分组成,形式如下: [code] 选择器{样式} [/code ...
- 使用Python爬虫爬取网络美女图片
代码地址如下:http://www.demodashi.com/demo/13500.html 准备工作 安装python3.6 略 安装requests库(用于请求静态页面) pip install ...
- Python爬虫 - 爬取百度html代码前200行
Python爬虫 - 爬取百度html代码前200行 - 改进版, 增加了对字符串的.strip()处理 源代码如下: # 改进版, 增加了 .strip()方法的使用 # coding=utf-8 ...
- Python爬虫|爬取喜马拉雅音频
"GOOD Python爬虫|爬取喜马拉雅音频 喜马拉雅是知名的专业的音频分享平台,用户规模突破4.8亿,汇集了有声小说,有声读物,儿童睡前故事,相声小品等数亿条音频,成为国内发展最快.规模 ...
随机推荐
- (转)基于keepalived搭建MySQL的高可用集群
基于keepalived搭建MySQL的高可用集群 原文:http://www.cnblogs.com/ivictor/p/5522383.html MySQL的高可用方案一般有如下几种: keep ...
- LinuxShell脚本编程基础2-变量与数值运算、父shell和子shell
1.变量和数值运算 Shell脚本的变量不需要声明的 对变量赋值有两种方式, 直接用“=” 或者用键盘输入值 #!/bin/bash name1="Jack" echo $name ...
- Git学习系列之 Git 、CVS、SVN的比较
Git .CVS.SVN比较 项目源代码的版本管理工具中,比较常用的主要有:CVS.SVN.Git 和 Mercurial (其中,关于SVN,请参见我的博客:SVN学习系列) 目前Google C ...
- Intellij IDEA 远程debug、远程tomcat部署项目
- Java入门系列-19-泛型集合
集合 如何存储每天的新闻信息?每天的新闻总数是不固定的,太少浪费空间,太多空间不足. 如果并不知道程序运行时会需要多少对象,或者需要更复杂方式存储对象,可以使用Java集合框架. Java 集合框架提 ...
- Splunk数据处理
0.提要 本篇主要从技术层面针对Splunk Enterprise中关于数据处理的概念.过程与部件进行了概要性总结. 1.数据管理基本概念 索引(index):Splunk用于存储事件的数据仓库: 索 ...
- Vue(五)--组件
1.组件也需要进行注册才可以使用:分为局部注册和全局注册 <body> <div id="app" > <my-component></m ...
- 基于语法分析器GOLD Parser开发的数学表达式计算器
最近发现一款文法分析神器,看完官网(http://goldparser.org/)的介绍后感觉很犀利的样子,于是就拿来测试了一番,写了一个数学表达式分析的小程序,支持的数学运算符如下所示:常规运算:+ ...
- element ui tabl 输出Html
在使用element ui的表格的时候有遇到过表格中的数据需要换行的问题,数据是由后台传回的包含分隔符的字符串,在尝试过使用slot和直接输出html后并不能实现 解决方法:使用column的form ...
- Java String、string[]、List初始化方法
String初始化: 1.String str = new String("string1"); 2.String str = "string1"; Strin ...