0.1安装python软件

32位机的电脑安装python-3.6.3.exe

64位机的电脑安装python-3.6.3-amd64.exe

0.1.1 python环境搭建

执行安装程序

选择Add Python 3.6 to PATH,然后点击Customize installation

确保所有的选项都被选中,然后点击Next

选择Install for all users,然后定制自己的安装路径。点击Install按钮

安装完成后,启动cmd命令行(需要在管理员界面进入)。

输入python命令,如果出现>>>提示符,就表示python程序已经安装正确并程序进入python命令行。

编写helloworld程序。

print('hello')

如果想要退出python命令,回到DOS命令行,可以在python命令行中按Ctrl+Z回车。


0.1.2安装python插件

假设我们需要安装一个插件ipython,在cmd命令行下(需要管理员权限),输入

前者从国外的网站装,后者从国内网站装,

pip install ipython

pip install ipython -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

pip install numpy -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

如果能够成功安装,启动ipython,在命令运行

ipython

尝试打印hello字样

ipython中通过exit命令退出。

pip本身可以更新,使用如下命令:

python -m pip install --upgrade pip

0.1.3安装ipython

IPython可以理解为网页版的python,安装步骤如下:

pip install ipython

此时,输入ipython,即可进入ipython的命令行

要使用网页版本,则需要安装jupyter

pip install jupyter

然后输入

jupyter notebook

即可打开python的网页版本。

Jupyter的主窗口显示的路径一般是你启动notebook时位于的路径下(通常在你的用户目录下)。主界面如下所示:

若要创建一个新的notebook,只需鼠标左击New,在下拉选项中选择一个你想启动的notebook类型即可。

比如选择python3

然后在新的页面进行程序的编辑

注意该文件的后缀名为ipynb

另外,也可以把其他人写好的ipynb文件拷贝到当前工作区下。刷新打开即可。

0.1.4安装selenium插件

前者从国外的网站装,后者从国内网站装,

pip install selenium

pip install selenium -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

0.1.5安装lxml库

如果需要在python程序中应用xpath规则。使用lxml库(LXML)

pip install lxml

pip install lxml -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

0.1.6安装scrapy框架

0.1.6.1安装pip3

地址:

https://blog.csdn.net/zytbft/article/details/72566197

python3.6 安装pip3 官网下载,

https://pypi.python.org/pypi/pip#downloads

(也就是安装包中:pip-18.1.tar.gz 文件,)

然后解压到一个文件夹,用CMD控制台进入解压目录,依此输入:

1、python setup.py install

2、setup.py install

然后,添加环境变量,我们在PATH最后添加:

D:\Python36\Scripts

安装scrapy 最保守的方法

参考网址    https://www.cnblogs.com/dalyday/p/9277212.html

0.1.6.2安装 pywin32(文件夹中有)

下载并安装 pywin32:

进入https://sourceforge.net/projects/pywin32/files/,在目录点击pywin32,选择Build 221,找到自己对应版本的pywin32点击连接即可自己下载,

安装:点击运行,按默认步骤点击下一步即可

pywin32的作用:因为Python没有自带访问windows系统API的库的,需要下载第三方库。库的名称叫pywin32,可以从网上直接下载

参考网址     https://sourceforge.net/projects/pywin32/files%2Fpywin32/

(下载适合你的Python版本。

比如build220里面的pywin32-221.win-amd64-py3.6.exe,并安装)

0.1.6.3安装 wheel

输入以下命令即可

pip3 install wheel

0.1.6.4下载twisted文件

进入https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

点击对应版本下载,cmd进入下载目录,cmd执行一下命令

64位机

pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl

32位机

pip install Twisted-18.9.0-cp36-cp36m-win32.whl

即可安装

0.1.6.5安装scrapy
0.1.6.6确认是否安装成功

1 在cmd中进入 python

2 >>>import twisted

3 >>>import scrapy

没有异常则说明安装成功

三个步骤下来可以正常引入,即表明正常安装, 0.1.7运行python程序的方式

目前运行python程序有3种方式:

方式一:交互式编程

在DOS命令行中输入python命令后,将进入python命令行(前面有3个大于号提示符的)

在python命令行下,即可输入python命令。如:

交互式编程一般只适用于测试简单的程序。比如通过pip install安装了某个包后,通过交互式命令行import 该包,看是否能正常导入之类的。交互式终端不适宜进行大量复杂的逻辑运算。

方式二:脚本式编程。

创建一个后缀名为py的脚本文件,在该文件中编写python脚本。比如创建hello.py,内容如下:

print("hello")

然后,通过python解释器执行。命令如下:

python hello.py

即可。

方式三:在脚本中声明解释器(一般在Linux操作系统下使用)

hello.py

#!/usr/bin/python

print("hello")

然后,修改该脚本的权限为可执行。

$ chmod +x hello.py

再执行该脚本

$ ./test.py

0.1. 8 PyCharm

PyCharm官网为: https://www.jetbrains.com/zh/pycharm/specials/pycharm/pycharm.html

点击“立即下载”可以下载最新版pycharm。

下载后点击安装。并选择安装目录

选择64位系统(需要与python解释器对应),选择py后缀名。

安装完成后启动pycharm。首次启动需要把滑动条滑动到底部并同意协议

接下来需要输入激活码。在License Server中输入下面的其中一项。

http://idea.imsxm.com/

或打开该网址,找到注册码。

注意:最近lanyu的激活码好像被封杀了。可以修改hosts文件(Windows的在C:\Windows\System32\drivers\etc\hosts),添加下面一行到hosts文件,目的是屏蔽掉Pycharm对激活码的验证

0.0.0.0 account.jetbrains.com

目前这个激活码有效期到2018年10月14日,之后再继续更新

选择白底黑词或黑底白字(看个人习惯)

如果需要的话,可以选择下注需要的特征插件(featured plugins)。

点击右下角Start using PyCharm

启动PyCharm后,选择Create New Project

选择Pure Python,和指定的安装目录

编写helloworld程序,首次运行时需要配置python解释器。点击编辑框右上角的提示,或通过File——Setting打开。

在Project interpreter对应的下拉列表中选择对应的解释器版本。

如果没有可以通过右上角的齿轮图案下拉选择Add Local。

并选择python解释器安装的路径。

配置成功后,即可运行程序了(首次运行可能会稍微的耗点时间)

基于python的scrapy环境搭建的更多相关文章

  1. 基于Python的Appium环境搭建合集

    自动化一直是测试圈中的热聊,也是大家追求的技术方向.在测试中,往往回归测试也是测试人员的“痛点”.对于迭代慢.变更少的功能,就能用上自动化来替代人工回归,减轻工作量. 问题 在分享环境搭建之前,先抛出 ...

  2. MAC平台基于Python的Appium环境搭建

    前言 最近笔者要为python+appium课程做准备,mac在2019年重新安装了一次系统,这次重新在mac下搭建appium环境,刚好顺带写个文稿给大家分享分享搭建过程. 一.环境和所需软件概述 ...

  3. linux下scrapy环境搭建

    最近使用scrapy做数据挖掘,使用scrapy定时抓取数据并存入MongoDB,本文记录环境搭建过程以作备忘 OS:ubuntu 14.04  python:2.7.6 scrapy:1.0.5 D ...

  4. Python介绍及环境搭建

    摘自http://www.cnblogs.com/sanzangTst/p/7278337.html Python零基础学习系列之二--Python介绍及环境搭建   1-1.Python简介: Py ...

  5. Ubuntu 基于Docker的TensorFlow 环境搭建

    基于Docker的TensorFlow 环境搭建 基于(ubuntu 16.04LTS/ubuntu 14.04LTS) 一.docker环境安装 1)更新.安装依赖包 sudo apt-get up ...

  6. 06 windows安装Python+Pycharm+Scrapy环境

    windows安装Python+Pycharm+Scrapy环境 使用微信扫码关注微信公众号,并回复:"Python工具包",免费获取下载链接! 一.卸载python环境 卸载以下 ...

  7. python+Eclipse+pydev环境搭建

    python+Eclipse+pydev环境搭建   本文重点介绍使用Eclipse+pydev插件来写Python代码,  以及在Mac上配置Eclipse+Pydev 和Windows配置Ecli ...

  8. Python开发:环境搭建(python3、PyCharm)

    Python开发:环境搭建(python3.PyCharm) python3版本安装 PyCharm使用(完全图解(最新经典))

  9. Python+Selenium+webdriver环境搭建(windows)以及相关资源下载链接

    今天记录一下测试小菜鸟alter在测试入门的一点关于python+Selenium+webdriver环境搭建的经历以及资源分享.欢迎交流学习,批评指正. 一.Python的下载与安装 1.pytho ...

随机推荐

  1. 计算机基础+python初阶

    今日内容: 1.计算机基础知识 2.python简介 3.快速入门 今日内容: 一.计算机基础 1. 计算机什么组成的 输入输出设备 cpu 硬盘 内存 中央处理器 处理各种数据 相当于人的大脑 内存 ...

  2. flutter无线调试与打包

    1.WIFI连接设备 设备打开开发者选项 -> 点击WIFI调试 ->  项目目录下输入终端命令: adb connect   设备ip地址:[端口号(一般是5555)] 2.apk打包 ...

  3. Jconsole/jvisualvm远程监控weblogic中间件配置

    1.进入linu操作界面,进入到启动服务目录下 2.选择要监控的服务的启动项,进入到编辑状态(注意:要先将该文件进行备份),如下图所示 3.修改USER_AGRS域,添加如下内容,注意修改IP USE ...

  4. 创建ASP.NET Webservice

    一.WebService:WebService是以独立于平台的方式,通过标准的Web协议,可以由程序访问的应用程序逻辑单元. (1)应用程序逻辑单元:web服务包括一些应用程序逻辑单元或者代码.这些代 ...

  5. 如何替换ROS中默认的Planner

    官方文档参阅:http://wiki.ros.org/pluginlib 有时候,可能会需要将替换ROS默认的planner替换成别的planner或我们自己的planner.这就涉及到了新plann ...

  6. matplotlib 库的使用

    1.问题描述: 在学习kaggle经典学习项目Titanic,进行数据可视化处理时,对于每个特征进行相关性分析(也就是绘制pearson correlation heatmap )热力相关性矩阵时, ...

  7. 【Redis】缓存穿透与缓存雪崩

    一.缓存雪崩 1.1 缓存雪崩产生的原因 1.2 解决方案 1.3 锁的方式 1.4 消息中间件 1.5 一级和二级缓存 1.6 均摊分配redis key 失效时间 二.缓存穿透 一.缓存雪崩 1. ...

  8. CodeBenchmark之压力测试详解

    CodeBenchmark是一款高性能可视化的并发测试组件,通过组件可以对任意逻辑代码或服务进行并发测试:组件最终通过可视化的方式来显示测试结果,在测试结果中可以看到具体的并发情况和处理延时的分布.组 ...

  9. Oracle 11g Rac 用rman实现把本地数据文件迁移到ASM共享存储中

    在Oracle Rac环境中,数据文件都是要存放在ASM共享存储上的,这样两个节点才能同时访问.而当你在某一节点下把数据文件创建在本地磁盘的时候,那么在另一节点上要访问该数据文件的时候就会报错,因为找 ...

  10. 基于soot的java方法名生成报告

    0.生成XML格式文件 笔者使用soot将java文件解析生成xml格式文档,具体操作流程不再赘述.本文讨论执行结果的用途.笔者第一次采用的java文件如下:文件名为test.java 用soot解析 ...