linux配置爬虫环境

#宝塔面板安装python3

#安装依赖包
yum -y groupinstall "Development tools"
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
#下载 Python3
wget https://www.python.org/ftp/python/3.7.7/Python-3.7.7.tar.xz
#创建文件夹
mkdir /usr/local/python3
#解压编译安装
tar -xvJf  Python-3.7.7.tar.xz
cd Python-3.7.7
./configure --prefix=/usr/local/python3
make && make install
#给个软链
ln -s /usr/local/python3/bin/python3 /usr/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

#安装Chrome

sudo yum localinstall google-chrome-stable_current_x86_64.rpm

#更换pip源

-i https://pypi.tuna.tsinghua.edu.cn/simple/

#下载并安装Chromedriver

http://npm.taobao.org/mirrors/chromedriver/2.41/chromedriver_linux64.zip

解压后上传到usr/bin目录下

*可选：给予执行权限，

chmod +x /usr/bin/chromedriver

#安装phantomjs

http://phantomjs.org/download.html官网下载文件，

本地解压后文件夹重命名成 phantomjs，然后通过宝塔上传到服务器的 usr/local 目录，

yum -y install fontconfig #安装依赖环境
ln -s /usr/local/phantomjs/bin/phantomjs /usr/bin/  #建立软连接

#报错：unknown error: DevToolsActivePort file doesn't exist

Linux下使用root账户操作Chrome，需要增加一些设置

from selenium.webdriver.chrome.options import Options
from selenium import webdriver
chrome_options = Options()
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage') #让Chrome在root权限下跑
chrome_options.add_argument('--headless') #不用打开图形界面
browser = webdriver.Chrome(chrome_options=chrome_options)

#报错：Max retries exceeded with url

requests.adapters.DEFAULT_RETRIES = 5 # 增加重连次数
s = requests.session()
s.keep_alive = False # 关闭多余连接
s.get(url) # 你需要的网址

#putty连接容易断开，命令执行中断

可以使用screen

yum install screen

然后执行 -S [窗口名字] 就可以新建命令窗口，独立运行，客户端断开也不影响命令执行

screen -S david

再次连接上服务器，继续操作刚刚的窗口

screen -ls #列出所有窗口
screen -r 12865 #重新连接指定窗口