selenium五十行代码自动化爬取淘宝

先看一下代码，真的只是五十行：

 # coding=gbk

 from selenium import webdriver
 import time

 options = webdriver.ChromeOptions()
 options.add_argument(r'--user-data-dir=C:\Users\lwy\AppData\Local\Google\Chrome\User Data\Default')
 options.add_experimental_option('excludeSwitches', ['enable-automation'])
 driver = webdriver.Chrome(options=options)
 driver.get('https://www.taobao.com/')

 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36',
            'Referer': 'https://www.taobao.com/'}

 def request_page():
     driver.find_element_by_xpath('//*[@id="q"]').send_keys('男装')
     time.sleep(3)
     driver.find_element_by_xpath('//*[@id="J_TSearchForm"]/div[1]/button').click()
     time.sleep(5)
     # 控制页数
     for i in range(5):
         # 获取每页存放所有商品的div
         all_thing_div = driver.find_element_by_xpath('//*[@id="mainsrp-itemlist"]/div/div/div[1]')
         # 获取每个商品的div列表
         thing_div_list = all_thing_div.find_elements_by_xpath('./div')
         # 依次获取每个商品的信息
         for thing_div in thing_div_list:
             info_div_list = thing_div.find_element_by_css_selector('.ctx-box').find_elements_by_xpath(
                 './div')  # 获取每个商品下面信息的4个div
             price = info_div_list[0].find_element_by_xpath('./div[1]/strong').text  # 单价
             customer = info_div_list[0].find_element_by_xpath('./div[@class="deal-cnt"]').text  # 购买数量
             thing_name = info_div_list[1].find_element_by_xpath('./a').text
             thing_lianjie = info_div_list[1].find_element_by_xpath('./a').get_attribute('href')
             store_name = info_div_list[2].find_element_by_xpath('./div[1]/a/span[2]').text
             store_where = info_div_list[2].find_element_by_xpath('./div[2]').text
             print("单价：", price, "购买数量：", customer, '商品名称:', thing_name, '店铺名称：', store_name, '店铺所在地', store_where,
                   '链接:', thing_lianjie)
         print('第{0}页爬取完成'.format(i+1))
         if i+1 == 5:
             break
         driver.find_element_by_xpath('//*[@id="mainsrp-pager"]/div/div/div/ul/li[8]/a/span[1]').click()
         time.sleep(10)

 if __name__ == '__main__':
     request_page()
     driver.close()

第七行用来加载chrome的配置文件，需要改成自己的路径，可以再chrome的地址栏里输入chrome://version查看，第八行用来绕过淘宝对selenium的检测，request_page是自定义的爬虫函数，主要是利用xpath语法，真的不要太方便，第一个for循环用来控制爬取的页数，第二个for循环用来爬取每一个商品。

（ps：还是正在努力的小菜鸡，希望大佬执教，，xixiiixi。。。。）

**********不积跬步无以至千里**********