安装 CentOs 系统 及 Python 及 Scrapy 框架

1: 先安装Centos 系统:

为什么选择CentOs系统,而不选择Ubuntu ?

我在Ubuntu上尝试了三次安装 python 和 Scrapy ,结果都没成功,在运维老王的建议下 使用CentOs ;

( 忍不住吐槽一下,python 安装包 依赖包  安装起来 真费劲! )

2: CentOs安装过程

整体安装过程比较顺利  ,  比Ubuntu 简单多了 ;  我选择了一个mini的ios 安装之后 也没有 桌面环境 , 挺好 ,符合需求.

安装好之后的界面: 命令行环境 , 挺好 .

3: 使用MobaXterm  SSH 工具来链接 CentOs

需要知道CentOs系统的ip地址 :

那就去查 ifconfig -a   结果呢 这个命令没有 ,可以理解 因为装的是 mini os  一些没有可以理解 ,没有就自己去安装呗;

CentOS 7最小化安装后找不到‘ifconfig’命令——修复小提示

CentOS7用yum安装软件提示 cannot find a valid baseurl for repobase7x86_64

上面这两条都用的着  也测试过 可以使用 ;

链接上之后 如下图所示:

4 接下来就看看 安装 python  顺利不?

安装python 之前先看一下 系统有没有自带python

看来 他 自带的是 python 2.7  ; 我这里需要的是 python 3.6

那就自己安装 python3.6 并设为系统默认的

下面方法只能用于centos7 或者el7内核
yum -y update
yum -y install https://centos7.iuscommunity.org/ius-release.rpm

安装最新版本Python3.6.x
yum -y install ncurses-devel gdbm-devel xz-devel tk-devel
yum -y install gcc openssl-devl mysql-devl zlib-devl
yum -y install python36u python36u-libs python36u-pip python36u-devel

创建软链接
ln -s /usr/bin/python3.6 /usr/bin/python3
ln -s /usr/bin/pip3.6 /usr/bin/pip3

pip3 install --upgrade pip

另外Python 3.6 可直接使用 python3 -m venv venv_name 创建虚拟环境

下面就先创建一个虚拟环境

python3 -m venv scrapy_venv

激活虚拟环境

source /opt/python_venv/scrapy_venv/bin/activate

pip install -r requirement.txt 

下面文件: requirement.txt

asn1crypto==0.24.
attrs==17.4.
Automat==0.6.
certifi==2018.1.
cffi==1.11.
chardet==3.0.
constantly==15.1.
cryptography==2.1.
cssselect==1.0.
hyperlink==18.0.
idna==2.6
incremental==17.5.
lxml==4.1.
numpy==1.14.
opencv-python==3.4.0.12
parsel==1.4.
Pillow==5.0.
pyasn1==0.4.
pyasn1-modules==0.2.
pycparser==2.18
PyDispatcher==2.0.
PyMySQL==0.8.
pyOpenSSL==17.5.
pytesseract==0.2.
python-logstash==0.4.
qiniu==7.2.
queuelib==1.4.
redis==2.10.
requests==2.18.
Scrapy==1.5.
scrapy-splash==0.7.
scrapyd-client==1.1.
service-identity==17.0.
six==1.11.
Twisted==17.9.
urllib3==1.22
w3lib==1.19.
zope.interface==4.4.

至此  基本上完成了 .