python2.7编译安装升级python3并安装Scrapy

一.安装python3

1.wget https://www.python.org/ftp/python/3.5.1/Python-3.5.1.tgz

2.编译安装,在编译安装前需要构建编译环境,安装gcc

yum -y install gcc

3.安装完成之后,我们输入python,这个时候任然是python2版本,需要重新定义软连接,重新建立指向 find / -name python3

mv /usr/bin/python /usr/bin/python27
ln -s /usr/python/bin/python3 /usr/bin/python

python3.5安装报错
python3.5: error while loading shared libraries: libpython3.5m.so.1.0: cannot open shared object file: No such file or directory
原因是因为python运行时没有加载到libpython3.5m.so.1.0 这个库文件将其复制到响应目录OK

解决方法:
[root@www Python-3.5.0]# cd /root/test/Python-3.5.0     进入解压后的编译目录
[root@www Python-3.5.0]#  cp libpython3.5m.so.1.0 /usr/local/lib64/
[root@www Python-3.5.0]#  cp libpython3.5m.so.1.0 /usr/lib/
[root@www Python-3.5.0]#  cp libpython3.5m.so.1.0 /usr/lib64/

4.这个时候,我们的yum命令就是无法使用了,因为默认的yum是只支持python2版本,我们可以简单设置一下即可,如下:

修改yum配置文件(vi /usr/bin/yum)。
把文件头部的#!/usr/bin/python改成#!/usr/bin/python27保存退出即可

二.安装python包管理工具pip

在第一步,我们安装好了pyhton3的环境,接下来,我们就基于python3版本来安装相应的pip工具，pip默认是依赖于setuptools的

1. wget --no-check-certificate  https://pypi.python.org/packages/source/s/setuptools/setuptools-19.6.tar.gz#md5=c607dd118eae682c44ed146367a17e26

解压安装
tar -zxf setuptools-19.6.tar.gz
cd pip-9.0.1
python setup.py install

2.wget https://pypi.python.org/packages/11/b6/abcb525026a4be042b486df43905d6893fb04f05aac21c32c638e939e447/pip-9.0.1.tar.gz

解压安装
tar -zxf pip-9.0.1.tar.gz
cd pip-9.0.1
python setup.py install
建立软连接 ln -sv /usr/python/bin/pip /usr/bin/pip    -->find / -name pip

三.安装Scrapy爬虫环境

可以直接使用pip工具来进行包的安装

1.测试一：安装requests

[root@liuge ~]# pip install -i https://pypi.douban.com/simple/ requests

看是否安装其他依赖 yum -y install openssl openssl-devel

2.测试安装scrapy环境

[root@liuge python35]# pip install -i https://pypi.douban.com/simple/ scrapy

发现,找不到Twisted 
我们需要手动安装Twisted

[root@liuge ~]# wget https://pypi.python.org/packages/source/T/Twisted/Twisted-15.2.1.tar.bz2

[root@liuge ~]# bzip2 -d Twisted-15.2.1.tar.bz2
[root@liuge ~]# tar xf Twisted-15.2.1.tar
[root@liuge ~]# cd Twisted-15.2.1/
[root@liuge Twisted-15.2.1]# python setup.py install

若报错

Downloading packages:
  File "/usr/libexec/urlgrabber-ext-down", line 28
    except OSError, e:
                  ^
SyntaxError: invalid syntax
则 vim /usr/libexec/urlgrabber-ext-down 将原来的 /usr/bin/python 改成  /usr/bin/python2.7 就行 

再重新安装

pip install -i https://pypi.douban.com/simple/ scrapy

python -m pip install --upgrade pip  升级pip

sudo pip install twisted --upgrade   升级twisted

建立软连接 ln -s /usr/python/bin/scrapy   /usr/bin/scrapy    -->find / -name scrapy

若pip insatall twisted 安装的版本低 不能支持python3.5 去官网下载一个高版本 wget https://twistedmatrix.com/Releases/Twisted/17.9/Twisted-17.9.0.tar.bz2 

重新编译安装

scrapy -V  

到此安装完成

推荐python豆瓣镜像源:

pip install -i https://pypi.douban.com/simple/

找扩展依赖包地址:

www.lfd.uci.edu/~gohlke/pythonlibs/

有时候,需要这样替换

pip install requests -i http://pypi.douban.com/simple/ –trusted-host pypi.douban.com