2.1 Python3.5安装以及爬虫需要的环境配置
之所以选用Python,是因为对于网络爬虫来说,Python是最好上手的一种语言。本文讲述的安装配置都是基于Windows的环境。
另外我想说的是,文中用到的下载链接尽量官方网站上的下载链接,这是我比较喜欢的下载方式,一方面下载可靠,一方面链接稳定。如果官网要翻墙才能进去的话,为了方便读者操作,就使用百度的下载链接了。
一、Python3安装
首先,下载Python3,这里使用Python3.5.1版本,点击下载:64位版本,32位版本。
双击打开,进行安装。特别注意:要勾选上"Add to Path"选项,否则后面会很麻烦。
打开cmd窗口,测试一下是否真的装好了。
如果刚才安装的时候没有勾选"Add to Path",这个时候可能会报错,这里就不讲解添加环境变量的方法了,建议直接卸载重装。
二、Python3的IDE
现在,Python3的运行环境已经装好了,我们还需要一个IDE。这里建议有两种选择,第一种是Notepad++,第二种是PyCharm。
1. Notepad++
安装完成后,下面说明怎么在Notepad++中安装运行python的插件。
点击"Show Plugin Manager"。
找到PyNPP,点击Install。
安装成功以后,就可以运行Python代码了。
2. PyCharm
这是一个专门给Python编程用的IDE,用起来比Notepad++多的功能基本上就是工程管理和自动补全。一般来说下载Community版本就够用了。安装完成以后就可以使用了。
三、Python3爬虫包安装
这里使用requests和beautifulsoup作为主要的爬虫工具。安装方式很简单。打开cmd,输入这两行代码:
pip install beautifulsoup4
pip install requests
Python3默认会自动安装pip,直接使用即可。
可以用下面一段简单的代码来测试一下这两个包:
# coding : utf-8
import requests
from bs4 import BeautifulSoup r = requests.get("http://news.163.com/")
soup = BeautifulSoup(r.content,'html.parser',from_encoding="gb18030")
for i in soup.find_all('a'):
try:
print(i["href"])
except Exception as e:
pass
几行代码就实现了把网易新闻首页的所有链接都提取出来了。是不是很方便?
要了解更多关于这两个包的知识可以去看官方文档,写的非常清楚。
至此,我们已经配置好了需要的所有爬虫工具,后面会详细介绍怎么在项目中使用。
拓展阅读:其实Python可以使用的爬虫包还有很多,这里使用的是requests,其实对于一些有网页动态代码抓取需求的还可以使用selenium。可以参考我的另一篇博客python3初识selenium。
2.1 Python3.5安装以及爬虫需要的环境配置的更多相关文章
- Blackey win10 + python3.6 + VSCode + tensorflow-gpu + keras + cuda8 + cuDN6N环境配置(转载)
win10 + python3.6 + VSCode + tensorflow-gpu + keras + cuda8 + cuDN6N环境配置 写在前面的话: 再弄这个之前,我对python也好 ...
- win8 64位系统,安装JDK的步骤及其环境配置
工具/原料 jdk-8u51-windows-x64.exe 下载地址:::http://www.cr173.com/soft/55503.html#address jdk 安装步骤 1:到oracl ...
- 安装Nginx+Lua+OpenResty开发环境配置全过程实例
安装Nginx+Lua+OpenResty开发环境配置全过程实例 OpenResty由Nginx核心加很多第三方模块组成,默认集成了Lua开发环境,使得Nginx可以作为一个Web Server使用. ...
- scrapy爬虫笔记(一)------环境配置
前言: 本系列文章是对爬虫的简单介绍,以及教你如何用简单的方法爬取网站上的内容. 需要阅读者对html语言及python语言有基本的了解. (本系列文章也是我在学习爬虫过程中的学习笔记,随着学习的深入 ...
- win10 + python3.6 + VSCode + tensorflow-gpu + keras + cuda8 + cuDN6N环境配置
写在前面的话: 再弄这个之前,我对python也好,tensorflow也好几乎是0认知的,所以配置这个环境的时候,走了不少弯路,整整耗费了一个星期的时间才搭配完整这个环境,简直了...然而最气的是, ...
- Python3编译安装以及创建虚拟运行环境
一.yum安装pip# yum -y install epel-release #Centos6.8安装epel源# yum -y install python-pip手动安装pip# wget ...
- anaconda python3.7 安装 tensorflow-gpu 2.0.0 beta1 配置PyCharm
参考tensorflow 公众号<tensorflow2.0 安装指南> https://mp.weixin.qq.com/s/7rNXFEC5HYe91RJ0-9CKdQ # 1. NV ...
- Hive安装(一)之环境配置
Hive Web Interface(HWI)简介:Hive自带了一个Web-GUI,功能不多,可用于效果展示,如果没有安装Hue的话,是个不错的选择. 由于hive-bin包中没有包含HWI的页面, ...
- 用composer安装 Laravel | Laravel需要的环境配置
一:安装 参考网站 http://v4.golaravel.com/docs/4.2/installation 1.先确保安装好了PHP,和服务器环境 2.然后下载composer可执行文件到当前目录 ...
随机推荐
- Centos下使用Docker部署MySql
本文讲述 CentOS 系统 Docker 中安装 MySql 的过程 步骤 1. 拉取 Docker Hub 官方提供的mysql镜像 docker pull mysql:5.7 2.运行容器 do ...
- php集成开发环境xampp的搭建
一:运维闲谈 作为一名linux运维工程师,在确保能够有熟练的服务器的搭建和维护优化技能的前提,还需对自身解决问题方法上做出一番功夫. 如何为自己的运维工作添砖加瓦,自动化运维便变得非常重要,一方面, ...
- python--Wrapper
然后给大家介绍的是Wrapper(装饰器),使用广泛.python笔试,面试的话也会百分百问到的,基础和中级的知识储备还是必用的. 让我们开始. 先来一些基础相关知识 *args,**kwargs的区 ...
- cmd中编译java脚本 (2013-05-02-bd 写的日志迁移
此前提是已经搭建好了jdk的编译环境! 先写一个java脚本如:建立一个HelloWord.java //public : 表示此类是公共的 一个java文件中只能有一个public类 //class ...
- 详解 JavaScript 中 splice() 方法
splice() 方法是一个比较少用的方法,但是功能确实很好,并且在我们 coding 的时候,经常有需要 splice() 方法,先介绍一下该方法. 在 JavaScript 中 splice() ...
- contextmanager 的基本使用
from contextlib import contextmanager 简化 With 语句: class MyResource: def query(self): print ...
- 十二、mysql之视图,触发器,事务等
一.视图 视图是一个虚拟表(非真实存在),其本质是[根据SQL语句获取动态的数据集,并为其命名],用户使用时只需使用[名称]即可获取结果集,可以将该结果集当做表来使用. 使用视图我们可以把查询过程中的 ...
- CSS继承特殊
继承 CSS的某些样式具有继承性.继承是一种规则,它允许样式不仅作用于某个特定html标签元素,而且应用于其后代 如:在p中的所有字体都为红色 p{color:red;} <p ...
- P2341 [HAOI2006]受欢迎的牛(tarjan+缩点)
P2341 [HAOI2006]受欢迎的牛 题目描述 每头奶牛都梦想成为牛棚里的明星.被所有奶牛喜欢的奶牛就是一头明星奶牛.所有奶 牛都是自恋狂,每头奶牛总是喜欢自己的.奶牛之间的“喜欢”是可以传递的 ...
- Android自定义组件之简单组合
Android自定义控件有两种,一种是组合.比如一个linearlayout 里面有textview,imageview. 这样的好处是,写一个就可以多处使用. view_image_and_butt ...