Python爬虫-抖音小视频-mitmproxy与Appium

目的:  爬取抖音小视频

工具:  mitmproxy、Appium

思路:

　　1.  通过 mitmproxy 截取请求, 找出 response 为 video 的请求.

　　2.  通过 mitmdump 对接 python 对上述请求进行处理.

　　3.  配合 Appium 实现自动抓取视频.

方法:

　　1.  设置 mitmprxoy 为手机的代理, 并且启动 mitmproxy.

　　2.  打开抖音, 并滑动页面.

　　3.  观察 mitmproxy 的页面. 通过不停的滑动, 返回类型为 video 都是如下类型的请求.

所以猜测储存视频的服务器都是如下类型(不一定全正确, 但是至少有正确的).

web_list = ['v3-dy.ixigua.com', 'v3-dy-x.ixigua.com', 'v3-dy-y.ixigua.com', 'v3-dy-z.ixigua.com',

　　　　  'v6-dy.ixigua.com', 'v6-dy-x.ixigua.com', 'v6-dy-y.ixigua.com', 'v6-dy-z.ixigua.com',

　　　　  'v9-dy.ixigua.com', 'v9-dy-x.ixigua.com', 'v9-dy-y.ixigua.com', 'v9-dy-z.ixigua.com']

　　4.  编写处理截获数据的处理脚本, 如下:

 from urllib.request import urlretrieve
 # 视频编号
 num = 1
 # 用于视频去重
 duplicate = set()

 def request(flow):
     # 本次请求的url
     video_url = flow.request.url
     global num
     url_list = ['v3-dy.ixigua.com', 'v3-dy-x.ixigua.com', 'v3-dy-y.ixigua.com', 'v3-dy-z.ixigua.com',
                 'v6-dy.ixigua.com', 'v6-dy-x.ixigua.com', 'v6-dy-y.ixigua.com', 'v6-dy-z.ixigua.com',
                 'v9-dy.ixigua.com', 'v9-dy-x.ixigua.com', 'v9-dy-y.ixigua.com', 'v9-dy-z.ixigua.com']
     # 视频保存路径
     path = '/home/ysl/视频/'
     # 判断是否重复, 不重复才继续执行
     if video_url not in duplicate:
         duplicate.add(video_url)
         for url in url_list:
             if url in flow.request.url:
                 filename = path + str(num) + '.mp4'
                 # 下载视频, 保存到本地
                 urlretrieve(flow.request.url, filename)
                 print(filename + '下载完成')
                 num += 1
                 # 这里是猜测不同服务器里可能存有相同的视频, 所以一旦下载到视频就退出循环.
                 return

现在手动滑动视频的话就已经会逐个下载了, 但是手动的毕竟麻烦, 所以搭配 Appium 实现自动化.

　　5.  将手机通过数据线和运行 Appium 的电脑相连, 打开手机的 USB 调试功能.  首先需要确定启动抖音的 Desired Capabilities 参数, platformName、deviceName、appPackage、appActivity, 具体的获取方法可以百度一下, 对于我手机上的抖音而言, 参数如下:

这里我还设置了一下 noReset 为 true, 不然的话, 好像每一次手机都会重新安装抖音. 下面是 Appium 驱动手机的代码:

 from appium import webdriver
 from appium.webdriver.common.touch_action import TouchAction
 import time

 # Appium服务器
 server = 'http://localhost:4723/wd/hub'
 # 参数
 desired_caps = {
     "appActivity": ".main.MainActivity",
     "appPackage": "com.ss.android.ugc.aweme",
     "deviceName": "SM_G9500",
     "platformName": "Android",
     "noReset": True
 }
 # 类似于selenium
 driver = webdriver.Remote(server, desired_caps)
 # 等待app启动
 time.sleep(10)
 # 设置时限, 如果想一直爬可以使用while True.
 for i in range(20):
     # TouchAction(driver).press(x=607, y=1976).move_to(x=613, y=982).release().perform()
     time.sleep(2)
     driver.swipe(607, 1976, 613, 800, 500)

确保 Appium 服务已经启动.

　　6. 命令行中执行 mitmdump -s 脚本名, 然后运行 Appium 代码.

结果:  Appium 驱动手机滑动页面, 抖音小视频被下载至指定路径.