scrapy爬取youtube游戏模块

本次使用mac进行爬虫 mac爬虫安装过程中出现诸多问题

避免日后踩坑这里先进行记录

首先要下载xcode ，所以要更新macOS到10.14.xx版本

更新完之后因为等下要进行环境路径配置 但是macOS升级到高级版本之后自带了一个自我保护的功能

因此需要重启电脑然后按cmd+r 进入编辑模式 然后选择语言 粘贴下面的命令后，按回车，输入你的系统密码；
sudo spctl --master-disable

然后取消后重启就可以了 然后下载xcode 下载完重启

接下来下载下载神器 https://brew.sh/index_zh-cn.html

下载安装后提示

Warning: Homebrew's sbin was not found in your PATH but you have installed formulae that put executables in /usr/local/sbin.Consider setting the PATH for example like so

就是说这个homebrew虽然安装了 但是不在路径中 因此需要配置路径 刚刚已经把安全模式取消 现在要去更改下路径环境

Mac配置环境变量的地方

1./etc/profile   （建议不修改这个文件 ）

全局（公有）配置，不管是哪个用户，登录时都会读取该文件。

2./etc/bashrc    （一般在这个文件中添加系统级环境变量）

全局（公有）配置，bash shell执行时，不管是何种方式，都会读取此文件。

3.~/.bash_profile  （一般在这个文件中添加用户级环境变量）

每个用户都可使用该文件输入专用于自己使用的shell信息,当用户登录时,该文件仅仅执行一次!

这里选择~/.bash_profile

sudo vim ~/.bash_profile

然后输入电脑密码进入

export PATH="/usr/local/bin:$PATH"

修改完后按esc 然后输入wq：！ 回车 （:wq! 强制保存文件，并退出vi）

然后终端输入 $source ~/.bash_profile 进行刷新

sudo python get-pip.py

sudo pip install Scrapy

如果安装成功则输入 scrapy --verison 查看版本

本次内容是热门直播游戏、推荐、热门直播、work to game、时下流行视频。

热门直播游戏

Live-broadcast-id = 游戏直播名称

live-viewers-count = 游戏观看人数

推荐

video-title = 推荐视频名称

byline = 推荐游戏类别

热门直播

hot-img = 热门直播图片

hot-video-title = 热门视频名称

hot-byline = 热门游戏类别

hot-metadata = 观看人数

hot-button = 热门下一页

work to game

work-thumbnail = work展示图片

work-video-title = work视频名称

work-metadata-line = work观看人数

work-ytd-grid-video-renderer = work视频日期

p.p1 { margin: 0; font: 11px Menlo; color: rgba(0, 0, 0, 1) }
span.s1 { font-variant-ligatures: no-common-ligatures }