基于python的scrapy环境搭建

---

---

0.1安装python软件

32位机的电脑安装python-3.6.3.exe

64位机的电脑安装python-3.6.3-amd64.exe

0.1.1 python环境搭建

执行安装程序

选择Add Python 3.6 to PATH，然后点击Customize installation

确保所有的选项都被选中，然后点击Next

选择Install for all users，然后定制自己的安装路径。点击Install按钮

安装完成后，启动cmd命令行（需要在管理员界面进入）。

输入python命令，如果出现>>>提示符，就表示python程序已经安装正确并程序进入python命令行。

编写helloworld程序。

print('hello')

如果想要退出python命令，回到DOS命令行，可以在python命令行中按Ctrl+Z回车。

0.1.2安装python插件

假设我们需要安装一个插件ipython，在cmd命令行下(需要管理员权限)，输入

前者从国外的网站装，后者从国内网站装，

pip install ipython

pip install ipython -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

pip install numpy -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

如果能够成功安装，启动ipython，在命令运行

ipython

尝试打印hello字样

ipython中通过exit命令退出。

pip本身可以更新，使用如下命令：

python -m pip install --upgrade pip

0.1.3安装ipython

IPython可以理解为网页版的python，安装步骤如下：

pip install ipython

此时，输入ipython，即可进入ipython的命令行

要使用网页版本，则需要安装jupyter

pip install jupyter

然后输入

jupyter notebook

即可打开python的网页版本。

Jupyter的主窗口显示的路径一般是你启动notebook时位于的路径下（通常在你的用户目录下）。主界面如下所示：

若要创建一个新的notebook，只需鼠标左击New，在下拉选项中选择一个你想启动的notebook类型即可。

比如选择python3

然后在新的页面进行程序的编辑

注意该文件的后缀名为ipynb

另外，也可以把其他人写好的ipynb文件拷贝到当前工作区下。刷新打开即可。

0.1.4安装selenium插件

前者从国外的网站装，后者从国内网站装，

pip install selenium

pip install selenium -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

0.1.5安装lxml库

如果需要在python程序中应用xpath规则。使用lxml库（LXML）

pip install lxml

pip install lxml -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

0.1.6安装scrapy框架

0.1.6.1安装pip3

地址：

https://blog.csdn.net/zytbft/article/details/72566197

python3.6 安装pip3 官网下载，

https://pypi.python.org/pypi/pip#downloads

（也就是安装包中：pip-18.1.tar.gz 文件，）

然后解压到一个文件夹，用CMD控制台进入解压目录，依此输入：

1、python setup.py install

2、setup.py install

然后，添加环境变量，我们在PATH最后添加：

D:\Python36\Scripts

安装scrapy 最保守的方法

参考网址    https://www.cnblogs.com/dalyday/p/9277212.html

0.1.6.2安装 pywin32（文件夹中有）

下载并安装 pywin32：

进入https://sourceforge.net/projects/pywin32/files/，在目录点击pywin32，选择Build 221，找到自己对应版本的pywin32点击连接即可自己下载，

安装：点击运行，按默认步骤点击下一步即可

pywin32的作用：因为Python没有自带访问windows系统API的库的，需要下载第三方库。库的名称叫pywin32，可以从网上直接下载

参考网址     https://sourceforge.net/projects/pywin32/files%2Fpywin32/

（下载适合你的Python版本。

比如build220里面的pywin32-221.win-amd64-py3.6.exe，并安装）

0.1.6.3安装 wheel

输入以下命令即可

pip3 install wheel

0.1.6.4下载twisted文件

进入https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted，

点击对应版本下载，cmd进入下载目录，cmd执行一下命令

64位机

pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl

32位机

pip install Twisted-18.9.0-cp36-cp36m-win32.whl

即可安装

0.1.6.5安装scrapy

0.1.6.6确认是否安装成功

1 在cmd中进入 python

2 >>>import twisted

3 >>>import scrapy

没有异常则说明安装成功

三个步骤下来可以正常引入，即表明正常安装， 0.1.7运行python程序的方式

目前运行python程序有3种方式：

方式一：交互式编程

在DOS命令行中输入python命令后，将进入python命令行（前面有3个大于号提示符的）

在python命令行下，即可输入python命令。如：

交互式编程一般只适用于测试简单的程序。比如通过pip install安装了某个包后，通过交互式命令行import 该包，看是否能正常导入之类的。交互式终端不适宜进行大量复杂的逻辑运算。

方式二：脚本式编程。

创建一个后缀名为py的脚本文件，在该文件中编写python脚本。比如创建hello.py，内容如下：

print("hello")

然后，通过python解释器执行。命令如下：

python hello.py

即可。

方式三：在脚本中声明解释器（一般在Linux操作系统下使用）

hello.py

#!/usr/bin/python

print("hello")

然后，修改该脚本的权限为可执行。

$ chmod +x hello.py

再执行该脚本

$ ./test.py

0.1. 8 PyCharm

PyCharm官网为： https://www.jetbrains.com/zh/pycharm/specials/pycharm/pycharm.html

点击“立即下载”可以下载最新版pycharm。

下载后点击安装。并选择安装目录

选择64位系统（需要与python解释器对应），选择py后缀名。

安装完成后启动pycharm。首次启动需要把滑动条滑动到底部并同意协议

接下来需要输入激活码。在License Server中输入下面的其中一项。

http://idea.imsxm.com/

或打开该网址，找到注册码。

注意：最近lanyu的激活码好像被封杀了。可以修改hosts文件（Windows的在C:\Windows\System32\drivers\etc\hosts），添加下面一行到hosts文件，目的是屏蔽掉Pycharm对激活码的验证

0.0.0.0 account.jetbrains.com

目前这个激活码有效期到2018年10月14日，之后再继续更新

选择白底黑词或黑底白字（看个人习惯）

如果需要的话，可以选择下注需要的特征插件（featured plugins）。

点击右下角Start using PyCharm

启动PyCharm后，选择Create New Project

选择Pure Python，和指定的安装目录

编写helloworld程序，首次运行时需要配置python解释器。点击编辑框右上角的提示，或通过File——Setting打开。

在Project interpreter对应的下拉列表中选择对应的解释器版本。

如果没有可以通过右上角的齿轮图案下拉选择Add Local。

并选择python解释器安装的路径。

配置成功后，即可运行程序了（首次运行可能会稍微的耗点时间）