python小白的初步爬虫

前序： 

最近工作不是很忙，领导突然找我谈话，说是谈话，其实就是分配活呗。果不其然，很快进入正题, 给了我一个网址链接，然后说需要商品的信息。。。巴拉巴拉。好吧，去做吧。

我当时的内心是崩溃的，python爬虫压根没碰过，这下完蛋了，理了理思绪，决定先从网页来看。

好了，吐槽完毕，开始正题：

需求：

https://youpin.mi.com/ 需要这个电商网址里边的商品信息, 其中包括：【商品类目】【商品名称】【商品链接】【商品售价】【商品市场价】【评价星级】【评价满意度】【评价总数量】

由于需要类目信息，我决定从类目到商品再到评价这个路子去着手。

首先呢，打开地址，发现首页可以看到类目信息，所以开启网页调试模式，发现了一个请求，如图：

这个请求的返回，有我们需要的分类信息哇，心里一抖，再去看了看请求入参的信息，如下：

之后，我通过postman模拟，居然请求ok了。这可是决定性的一步啊。（ps：其实也不是一下子就试成功的，中间走了一些弯路，由于抓包看到的请求入参格式是application/x-www-form-urlencoded，但是在postman模拟请求的时候，却怎么也请求不到，结果用application/json 去请求的话就可以了，这块存在一部分的侥幸啊）postman请求如下：

这里入参用的是 application/json , 其中请求头的 Referer是必须的，抓包看请求就可以获取到。

接下来，我用类似的方法找到了从分类点进去的商品列表的接口，商详接口，商品评价接口，其中，商详接口请求到code=0，但是result为空，我猜可能是平台的商详接口有反爬虫的机制，就放弃了请求商详接口，如此一来，分析了下，分类点进去的商品列表里边有商品的信息，然后我根据商品的id 可以获取到评论信息，如此一来，我需要的数据都有了，开始动工。

我先说下大体思路哈：

1.  打开网页，分析自己需要的数据，查找对应的网页请求。

2. postman模拟网页请求，获取数据。

3. 用python 去请求对应的接口，获取数据，保存至excel。

下边上代码：

环境：windows7， Python 2.7.0，PyChram编辑器  ，其中有用到python的库：urllib2  json  xlwt （这些库具体的安装，用法大家可以自行百度，这里就不再赘述）

# -*- coding: UTF-8 -*-

import xlwt
import urllib2
import json

# 设置编码格式为utf-8
import sys
reload(sys)
sys.setdefaultencoding('utf8')

# 设置url
shop_url = "https://youpin.mi.com/app/shopv3/pipe"

# 代理
user_agent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
# 请求格式
con_type = 'application/json'
# 类目的referer
caty_referer = "https://youpin.mi.com/"
# 商品列表的referer
goods_referer = 'https://youpin.mi.com/detail?gid=101975'

# 组建header
caty_headers = {'Referer': caty_referer, "Content-Type": con_type}

# 分类入参
caty_data = {"result": {"model": "Homepage", "action": "GetGroup2ClassInfo", "parameters": {}}}
# 商品列表入参
list_data = {"uClassList": {"model": "Homepage", "action": "BuildHome", "parameters": {"id": 1}}}
# 评论入参
comment_data = {"overView": {"model": "Product", "action": "CommentIndexV2", "parameters": {"gid": 1}}}

# 获取商品的评论信息
def get_good_comment(url, gid):
    caty_headers["Referer"] = url
    comment_data["overView"]["parameters"]["gid"] = gid
    comment_param = json.dumps(comment_data)

    com_req = urllib2.Request(shop_url, headers=caty_headers, data=comment_param)
    com_resp = urllib2.urlopen(com_req)
    com_res = com_resp.read()
    com_result = json.loads(com_res)
    com_info = com_result['result']['overView']['data']
    com_count = 0

    if com_info['tags']:
        com_count = com_info['tags'][0]['count']
    else:
        com_count = 0
    # for com in com_info['tags']:
    #     com_count = com['count']

    comment_info = {
        "score": com_info['avg_score'],
        "rate": com_info['positive_rate'],
        "count": com_count
    }
    return comment_info

# 获取商品列表，并获取到商品信息，保存到excel
def get_good_list(caty_id, caty_name):
    # 1. 请求分类的商品列表
    list_referer = "https://youpin.mi.com/goodsbycategory?firstId=%s&secondId=%s&title=%s"
    list_referer_r = list_referer % (caty_id, caty_id, caty_name)
    caty_headers["Referer"] = list_referer_r
    list_data["uClassList"]["parameters"]["id"] = caty_id
    list_param = json.dumps(list_data)

    list_req = urllib2.Request(shop_url, headers=caty_headers, data=list_param)
    list_resp = urllib2.urlopen(list_req)
    list_res = list_resp.read()
    list_result = json.loads(list_res)
    list_info = list_result['result']['uClassList']['data']

    worksheet = workbook.add_sheet(caty_name)
    worksheet.write(0, 0, '类目')
    worksheet.write(0, 1, '链接')
    worksheet.write(0, 2, '商品名称')
    worksheet.write(0, 3, '价格')
    worksheet.write(0, 4, '划线价')
    worksheet.write(0, 5, '评论星级')
    worksheet.write(0, 6, '评论满意度')
    worksheet.write(0, 7, '评论条数')

    # 3. 获取商品url，从而获取商品信息
    index = 1
    for list_index in list_info:
        if list_index['item_type'] == 5:
            continue

        # 获取商品url，获取商品信息
        child_caty_name = list_index['content']['name']
        real_caty_name = caty_name+'/'+child_caty_name

        for goods in list_index['data']:
            # 获取评论
            comment = get_good_comment(goods['url'], goods['gid'])

            # 获取商品信息
            goods_info = {
                "caty": real_caty_name,
                "url": goods['url'],
                "name": goods['name'],
                "price_min": goods['price_min'],
                "market_price": goods['market_price'],
                "score": comment['score'],
                "rate": comment['rate'],
                "count": comment['count']
            }
            print goods_info
            worksheet.write(index, 0, goods_info['caty'])
            worksheet.write(index, 1, goods_info['url'])
            worksheet.write(index, 2, goods_info['name'])
            worksheet.write(index, 3, goods_info['price_min'])
            worksheet.write(index, 4, goods_info['market_price'])
            worksheet.write(index, 5, goods_info['score'])
            worksheet.write(index, 6, goods_info['rate'])
            worksheet.write(index, 7, goods_info['count'])
            index = index + 1

    workbook.save(filename)
    return

# 入口

# 1. 类目入参处理,并请求获取类目信息列表
caty_param = json.dumps(caty_data)
req = urllib2.Request(shop_url, headers=caty_headers, data=caty_param)
response = urllib2.urlopen(req)
res = response.read()
caty_resp = json.loads(res)
caty_groups = caty_resp["result"]["result"]["data"]["groups"]
print len(caty_groups)

# 2. excel表格初始化
filename = "小米优品.xls".decode(encoding="utf-8")
workbook = xlwt.Workbook(encoding='utf-8')

# 3. 获取分类列表,以及id
for caty in caty_groups:
    for caty_class in caty:
        caty_info = {
            'id': caty_class['class']['ucid'],
            'name': caty_class['class']['name']
        }

        list_data["uClassList"]["parameters"]["id"] = caty_info["id"]
        # 获取该类目下的商品列表
        get_good_list(caty_info['id'], caty_info['name'])

之后，获取到的数据如图：

我这里是按照大的类目去分的sheet 。

总结：

1. 我理解的爬虫其实就是模拟浏览器请求，去获取数据，之后将数据按照自己的要求去保存excel或者是数据库。

2. 数据获取可以通过访问接口 ( ps：也可以通过获取网页html，抓取html标签元素去获得数据 )

3. 注意编码：

　 3.1： 代码中有中文的，Python文件的开头需要设置：

　　　　# -*- coding: UTF-8 -*-

　3.2 ：windows下，Python的默认编码是ASCII，但是为了开发方便，一般开发者都是设置的UTF-8。

　 　　　python操作Excel的时候，如果插入数据有中文，需要在创建workbook的时候，设置UTF-8：　　　　　　

　　　　workbook = xlwt.Workbook(encoding='utf-8')

　　　     python操作Excel的时候，如果文件名有中文，也需要给文件名设置UTF-8：　　　　　　

　　　　filename = "爬取结果.xls".decode(encoding="utf-8")

以上，就是我这个python小白的初体验，希望可以帮助到python的初学者~