Python爬虫入门教程 1-100 CentOS环境安装
简介
你好,当你打开这个文档的时候,我知道,你想要的是什么! Python爬虫,如何快速的学会Python爬虫,是你最期待的事情,可是这个事情应该没有想象中的那么容易,况且你的编程底子还不一定好,这套课程,没有你想要的Python基础,没有变量,循环,数组等基础知识,因为我不想在那些你可以直接快速学会的地方,去浪费你的时间。
好了,这套课程是基于Python3.0 以上写的,操作系统我使用的是CentOS7+ 所以里面的好多内容可能和你的不一样,当然也会导致许多问题的解决和你的不同,所以有的问题,需要你自己百度或者翻墙解决啦,祝你碰到N多的BUG。O(∩_∩)O
接下来的第一步是什么?
安装一个虚拟机,因为你的电脑99%是windows的,所以你需要一个软件叫做 VMware 然后,下载地址 在2018年5月10日这一天,我百度到的是
http://www.wuleba.com/309.html 在这个网址里面有这款软件的下载和你懂的。
然后,我接着百度到了一个CentOS7的操作系统
软件下载之后的名字
准备工作做好了,接下来就是需要你需要完成的操作了
首先,安装VM这款软件,并且把它"pojie"掉.(当有一天,你赚到了钱,记得在去买一下这款软件,支持一下)
安装软件,全部使用默认选项即可,这个地方因为简单到不需要我写了,有问题大家可以自行解决。
安装完毕之前的最后一步
CentOS 7 安装
接下来就进入CentOS的安装了
安装过程中几个关键点位,要确定好
选择中文,下一步
红框的几个地方请注意
修改成下图的样子
OK,我们已经做好配置了,接下来点击下一步,在下一步,你只需要配置一个root账户的密码就可以了
接下来就是几分钟的等待了,跟你电脑配置有关系,时间不等。
安装之后,打开CentOS操作系统,会出现一个嘿嘿的DOS命令窗口,输入账户root和你刚刚设置的密码,进入没有问题,完美~代表你的操作系统已经安装好了
接下来,为了方便我们后面的操作,我们要给我们的虚拟机安装一个GUI交互界面(也就是像windows一样的视窗操作软件)
安装的教程,我建议你观看 https://www.cnblogs.com/c-xiaohai/p/6509641.html 这个博主的,简单,清楚,一次成功。
如果失败了,怎么办,百度“如何安装gnome图形界面程序” 想办法啃下来。
当出现这样子的一些图标的时候,你成功了
可能碰到的问题
好了,接下来说一下,你可能碰到的问题
你点击应用程序,里面找到一个叫做火狐浏览器的软件,然后打开,发现竟然无法上网?!
你发现竟然无法使用中文输入法?!nice 这个问题,自行解决,随便找找一堆解决方案。
好了,上面问题2解决了,那么解决一下问题1吧,这个问题首先确认一下你在一开始安装的时候,下面这个图配置的是否正确。
需要显示已连接
如果上图没有问题,那么99%的童鞋是可以上网的,那么还是有无法上网的,这时候,打开一个叫做终端的软件
输入代码
ping www.baidu.com
网络通畅
如果联网失败,敲入下图中的命令,如果联网成功,那么下面的内容,你直接跳过,去查看安装Python部分吧。
网络连接失败,修改方案
使用命令 ,注意,你的文件不一定叫ifcfg-ens33,可能叫 ifcgf-xxx 操作都一样
vi ifcfg-ens33
进入编辑页面 vi 的简单的操作
进入编辑状态请按键盘上的 i
退出编辑状态,请按键盘上的 ESC
然后输入 :wq 保存,退出,其他的命令用到在说吧。
图中有几个重点的地方,已经标注
首先看到你的文件中是否有 HWADDR=mac地址 【MAC地址获取见下图】
如果没有,自己手动加上,这里使用的DHCP连接网络的方式,所以,你需要把BOOTPROTO="dhcp" 如果需要修改成 "static" 也可以,不过需要配置一些其他的内容
保存文件退出
获取MAC地址,注意图片中的标注
接下来 使用下面的命令重启网络服务
service network restart
在这里,你可能就重启成功了
如果失败,那么这个地方可能是一个非常大的坑了,网上的教程五花八门,但是大多数都是Copy一样的。
这里你可以按照各种教程去试一下,下面给大家几种常见的解决办法。
- 你自己电脑上面的两个服务没有开启
- CentOS操作系统中 NetworkManager 服务有冲突
这个需要在终端中解决
打开一个终端,输入如下命令
service NetworkManager stop 【回车】
chkconfig NetworkManager off 【回车】
上面的命令是停止Network然后禁止开机启动,这样子在执行 service network restart 去尝试一下
安装Python
接下来就是我们的开发工具了,Python的安装
默认我们的CentOS已经给我们带了一个Python2
你可以直接使用
我们重新安装一下最新的Python3.0以上的版本,这里先安装一些基本的内容,CentOS使用 yum 安装程序
yum -y install zlib zlib-devel
yum -y install bzip2 bzip2-devel
yum -y install ncurses ncurses-devel
yum -y install readline readline-devel
yum -y install openssl openssl-devel
yum -y install openssl-static
yum -y install xz lzma xz-devel
yum -y install sqlite sqlite-devel
yum -y install gdbm gdbm-devel
yum -y install tk tk-devel
里面的 -y 是代表所有需要用户确认的地方选择yes不需要用户输入了
为了方便后面我们的Python3编译,还需要安装一个gcc编译器
yum -y install gcc
之后到python官网下载 https://www.python.org
终端运行以下命令
下载安装包
wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz
解压下载好的Python-3.x.x.tgz包
tar -zxvf Python-3.6.5.tgz
进入解压后的目录,编译安装。
cd Python-3.6.5/
./configure --prefix=/usr/local/python3
make
make
make install
make install
建立python3的软链
ln -s /usr/local/python3/bin/python3 /usr/bin/python3
OK到现在为止,你已经创建好了python3的环境了,在终端中尝试一下吧
接下来,你可能面临的一个问题就是安装setuptools和pip3的问题了,这个就留给大家自己解决去了。
最后输入一个 hello world 结束我们的1/100
print("hello,world")
Python爬虫入门教程 1-100 CentOS环境安装的更多相关文章
- Python爬虫入门教程 48-100 使用mitmdump抓取手机惠农APP-手机APP爬虫部分
1. 爬取前的分析 mitmdump是mitmproxy的命令行接口,比Fiddler.Charles等工具方便的地方是它可以对接Python脚本. 有了它我们可以不用手动截获和分析HTTP请求和响应 ...
- Python爬虫入门教程 43-100 百思不得姐APP数据-手机APP爬虫部分
1. Python爬虫入门教程 爬取背景 2019年1月10日深夜,打开了百思不得姐APP,想了一下是否可以爬呢?不自觉的安装到了夜神模拟器里面.这个APP还是比较有名和有意思的. 下面是百思不得姐的 ...
- Python爬虫入门教程 37-100 云沃客项目外包网数据爬虫 scrapy
爬前叨叨 2019年开始了,今年计划写一整年的博客呢~,第一篇博客写一下 一个外包网站的爬虫,万一你从这个外包网站弄点外快呢,呵呵哒 数据分析 官方网址为 https://www.clouderwor ...
- Python爬虫入门教程 36-100 酷安网全站应用爬虫 scrapy
爬前叨叨 2018年就要结束了,还有4天,就要开始写2019年的教程了,没啥感动的,一年就这么过去了,今天要爬取一个网站叫做酷安,是一个应用商店,大家可以尝试从手机APP爬取,不过爬取APP的博客,我 ...
- Python爬虫入门教程 2-100 妹子图网站爬取
妹子图网站爬取---前言 从今天开始就要撸起袖子,直接写Python爬虫了,学习语言最好的办法就是有目的的进行,所以,接下来我将用10+篇的博客,写爬图片这一件事情.希望可以做好. 为了写好爬虫,我们 ...
- Python爬虫入门教程 20-100 慕课网免费课程抓取
写在前面 美好的一天又开始了,今天咱继续爬取IT在线教育类网站,慕课网,这个平台的数据量并不是很多,所以爬取起来还是比较简单的 准备爬取 打开我们要爬取的页面,寻找分页点和查看是否是异步加载的数据. ...
- Python爬虫入门教程 5-100 27270图片爬取
27270图片----获取待爬取页面 今天继续爬取一个网站,http://www.27270.com/ent/meinvtupian/ 这个网站具备反爬,so我们下载的代码有些地方处理的也不是很到位, ...
- Python爬虫入门教程 60-100 python识别验证码,阿里、腾讯、百度、聚合数据等大公司都这么干
常见验证码 之前的博客中已经解决了一些常见验证码的问题,但是验证码是层出不穷的,目前解决验证码除了通过常规手段解决以外,还可以通过人工智能领域的深度学习去解决 深度学习?! 无疑对爬虫coder提高了 ...
- Python爬虫入门教程 50-100 Python3爬虫爬取VIP视频-Python爬虫6操作
爬虫背景 原计划继续写一下关于手机APP的爬虫,结果发现夜神模拟器总是卡死,比较懒,不想找原因了,哈哈,所以接着写后面的博客了,从50篇开始要写几篇python爬虫的骚操作,也就是用Python3通过 ...
随机推荐
- scrapy的持久化相关
终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作. 需求是:将糗百首页中段子的内容和标 ...
- kaggle之泰坦尼克号乘客死亡预测
目录 前言 相关性分析 数据 数据特点 相关性分析 数据预处理 预测模型 Logistic回归训练模型 模型优化 前言 一般接触kaggle的入门题,已知部分乘客的年龄性别船舱等信息,预测其存活情况, ...
- Tomcat6,7,8的日志切割
使用的日志切割工具cronolog(yum就可以了) 确定好路径后,开始配置 Tomcat6 Tomcat6/bin/catalina.sh 292-317行(修改两处) 修改之后为下面的内容 # t ...
- Vue-router重修01
---恢复内容开始--- 1.在vue中获取dom vue中不建议您亲自进行dom操作 vue实例内置ref属性存储或获取相应的dom元素 <div ref="dv"> ...
- RabbitMQ CLI 管理工具 rabbitmqadmin(管理和监控)
插个广告,公司最近在招".NET"开发(杭州),如果你现在还从事 .NET 开发(想用 .NET Core,但被公司不认可),想转 JAVA 开发(但又没有工作经验,惧怕面试),想 ...
- 深入分析volatile的实现原理
synchronized是一个重量级的锁,虽然JVM对它做了很多优化,而下面介绍的volatile则是轻量级的synchronized.如果一个变量使用volatile,则它比使用synchroniz ...
- Thread.join(), CountDownLatch、CyclicBarrier和 Semaphore区别,联系及应用
在java 1.5中,提供了一些非常有用的辅助类来帮助我们进行并发编程,比如CountDownLatch,CyclicBarrier和Semaphore,今天我们就来学习一下这三个辅助类的用法, 由于 ...
- Apache Storm 核心概念
前言: Storm读取实时数据流,并传递给处理单元,最终输出处理后的数据. 下图描述了storm的处理数据的主要结构. 元组(Tuple) : 元组是Storm提供的一个轻量级的数据格式, ...
- [Swift]LeetCode423. 从英文中重建数字 | Reconstruct Original Digits from English
Given a non-empty string containing an out-of-order English representation of digits 0-9, output the ...
- [Swift]LeetCode791. 自定义字符串排序 | Custom Sort String
S and T are strings composed of lowercase letters. In S, no letter occurs more than once. S was sort ...