Python作为爬虫语言非常受欢迎,近期项目需要,很是学习了一番Python,在此记录学习过程:
首先因为是初学,而且当时要求很快速的出demo,所以首先想到的是框架,一番查找选用了Python界大名鼎鼎的Scrapy框架,这个框架历史悠久,直接pip安装,安装使用非常方便。

先介绍Python的安装
windows去链接https://www.python.org/downloads/windows/下载Python的安装包,选择对应的版本,选择对应系统安装包
再次说明,本文安装的是Python2.7,因为Python3暂时很多框架不支持,所以本文安装的是Python2.7

下载后,双击打开,一点一点下一步就可以了
主要是windows需要设置环境变量,才能在CMD中使用命令行
环境变量设置:
右击“我的电脑”->点击属性->点击高级属性设置->选择环境变量中的Path,双击,在Paht行添加刚才选择的Python安装路径,路径需要使用分好;隔开(英文字符),最后设置成功后,在CMD中输入python会有先关状态提示

pip安装
安装好Python后,查看是否安装pip,pip 是 Python 包管理工具,该工具提供了对Python 包的查找、下载、安装、卸载的功能。
目前如果你在 python.org 下载最新版本的安装包,则是已经自带了该工具。
Python 2.7.9 + 或 Python 3.4+ 以上版本都自带 pip 工具。
如果不确定,windows在开始菜单->运行->cmd->输入

pip --version

如果显示了版本号则是已经安装过,如果没有那就需要去https://pypi.org/project/pip/#files 里面下载Source压缩文件回来,手动安装

解压刚下载的文件,使用CMD进入到解压后的pip文件夹,输入命令行安装pip

python setup.py install

执行完毕后,继续输入

pip list

可能会发现还是提示错误,无法识别命令行,这时候可能是没有加入环境变量的原因
按照之前介绍的添加Python环境变量的方法,添加pip的环境变量(加入我的Python安装在D:/Python)为:D:\Python\Scripts\;
然后再用CMD命令行输入pip list 就发现有介绍了

Scrapy框架的安装
在pip已经安装好的情况下,直接使用命令行安装Scrapy,CDM输入

pip install scrapy

安装完之后命令行输入scrapy查看介绍,scrapy是不用手动加入环境变量的,安装的时候自动加入过了

安装之前请记住一点,scrapy框架是必须要C++9.0支持的,如果安装有报错,请自行百度安装C++ 9.0的办法

费了九牛二虎之力,总算是把python给装好了,下节就可以愉快的写代码啦

Python、pip和scrapy的安装——Python爬虫学习笔记1的更多相关文章

  1. 使用pip install 或者easy_install安装Python的各种包出现cc failed with exit status 1

    *:first-child { margin-top: 0 !important; } body > *:last-child { margin-bottom: 0 !important; } ...

  2. python pip使用国内镜像安装第三方库:命令行或PyCharm

    python pip使用国内镜像安装第三方库:命令行或PyCharm 转载: https://blog.csdn.net/lly1122334/article/details/80646996

  3. python网络爬虫学习笔记

    python网络爬虫学习笔记 By 钟桓 9月 4 2014 更新日期:9月 4 2014 文章文件夹 1. 介绍: 2. 从简单语句中開始: 3. 传送数据给server 4. HTTP头-描写叙述 ...

  4. 《python基础教程(第二版)》学习笔记 文件和素材(第11章)

    <python基础教程(第二版)>学习笔记 文件和素材(第11章) 打开文件:open(filename[,mode[,buffering]]) mode是读写文件的模式f=open(r' ...

  5. 《python基础教程(第二版)》学习笔记 类和对象(第7章)

    <python基础教程(第二版)>学习笔记 类和对象(第7章) 定义类class Person:    def setName(self,name):        self.name=n ...

  6. 《python基础教程(第二版)》学习笔记 函数(第6章)

    <python基础教程(第二版)>学习笔记 函数(第6章) 创建函数:def function_name(params):  block  return values 记录函数:def f ...

  7. 《python基础教程(第二版)》学习笔记 语句/循环/条件(第5章)

    <python基础教程(第二版)>学习笔记 语句/循环/条件(第5章) print 'AB', 123 ==> AB 123 # 插入了一个空格print 'AB', 'CD' == ...

  8. 《python基础教程(第二版)》学习笔记 字典(第4章)

    <python基础教程(第二版)>学习笔记 字典(第4章)创建字典:d={'key1':'value1','key2':'value2'}lst=[('key1','value1'),(' ...

  9. 《python基础教程(第二版)》学习笔记 字符串(第3章)

    <python基础教程(第二版)>学习笔记 字符串(第3章)所有的基本的序列操作(索引,分片,乘法,判断成员资格,求长度,求最大最小值)对字符串也适用.字符串是不可以改变的:格式化输出字符 ...

随机推荐

  1. java.util.ConcurrentModificationException 记一次坑

    集合在单线程,一个循环内,有添加又删除会出现此异常. 多线程时,在不同的循环操作同一个集合,会出现此异常. 因为,集合长度发生改变时,在迭代器未结束前,迭代器的大小不会发生变化. 1.保证在同一个进程 ...

  2. 使用Linux命令行测试网速

    安装speedtest speedtest是一个用Python编写的轻量级Linux命令行工具,在Python2.4至3.4版本下均可运行.它基于Speedtest.net的基础架构来测量网络的上/下 ...

  3. 小程序-组件component和模版template的选择和使用

    小程序提供了组件component和模版template那什么时候 选择哪一个使用呢?我总结了一下 template主要是模版,对于重复的展示型模块进行展示,其中调用的方法或者数据data都是需要引用 ...

  4. django-celery配置

    1.项目启动顺序: 启动项目: python manage.py runserver 启动celery beat python manage.py celery beat 启动celery worke ...

  5. 首次安装Ubuntu

    初试Ubuntu 双系统的安装 situation: dell(2017购) 固态250G+机械硬盘500G 已经安装windows 10 BIOS 为 UEFI rufus(向U盘写入镜像) Ubu ...

  6. Swagger2教程

    Swagger2教程 作用:编写和维护接口文档. 一.Swagger2 + SpringBoot集成 1.依赖 <!--依赖管理 --> <dependencies> < ...

  7. 信息学奥赛辅导经验谈 & 问题教学法中的学生思维能力培养

    转载来自朱全民名师工作室 信息学奥赛辅导经验谈 全国青少年信息学奥林匹克分区竞赛(简称NOI)是经中国科协.国家教育部批准,由中国计算机学会主办的一项全国性的青少年学科竞赛活动.随着信息学奥林匹克竞赛 ...

  8. 20181117-python第二章学习小结-part1

    什么是二进制,十进制如何转化成二进制. 在python上可使用简单的函数进行转化,bin() 数据量的基本关系: 1bit  就是0/1的一个单位 1bytes = 8bit    #1个字节,就是一 ...

  9. json格式的数据及遍历:

    代码: <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8 ...

  10. 2018年10月OKR初步规划

    OKR(Objectives and Key Results)即目标+关键结果,是一套明确和跟踪目标及其完成情况的管理工具和方法 今天是十月的第一个工作日,也是我归零的第一天,受到一位前辈的启发,我决 ...