Anaconda 百度搜Anaconda清华,根据环境选择版本下载 安装时记得勾选添加到环境变量,不要还要手动添加 Anaconda Navigator可视化界面,可以方便地调用Jupyter等工具. MongoDB 官网下载地址 https://www.mongodb.com/download-center?jmp=nav#production 3.4版本需要如下配置,4.0不需要 在I:MongoDB\Server\3.4\目录下建立data\db 在bin目录下,Shift+鼠标右键,打开…

Python3 网络爬虫(请求库的安装) 爬虫可以简单分为几步:抓取页面,分析页面和存储数据 在页面爬取的过程中我们需要模拟浏览器向服务器发送请求,所以需要用到一些python库来实现HTTP的请求操作,我们用到的第三方库有requests Selenium 和aiohttp requests 的安装 相关链接: GitHub :https://github.com/requests/requests PypI:https://pypi.python.org/pypi/requests 官方文档…

  由于最近正在放暑假,所以就自己开始学习python中有关爬虫的技术,因为发现其中需要安装许多库与软件所以就在这里记录一下以避免大家在安装时遇到一些不必要的坑. 一. 相关软件的安装:   1. homebrew: homebrew 是mac os系统下的包管理器由于功能齐全所以在这里比较推荐大家安装,安装及使用教程在我的另一篇博客中,在此附上链接 homebrew的安装.    2. anaconda:anaconda是python下的包管理器,支持创建虚拟环境等功能,个人认为比自带的pip…

关闭页面特效     linux中安装python   1.首先切换目录 大型的软件一定要安装在/ opt中  规范 cd /opt 2.下载python3的源码 wget https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tgz 3.安装依赖包很重要,以后在用python的时候会出现的各种问题基本上都是依赖包没有安装全 yum install gcc patch libffi-devel python-devel zlib-devel b…

官方文档链接(中文) https://2.python-requests.org/zh_CN/latest/ requests  基于  urllib3 ,python编写. 安装 pip install requests  (python3) anaconda 版本 用pip安装  要在 anaconda prompt 里打入安装命令 提示Requirement already satisfied: requests in xxxxxx  表示 已经安装了 import requests re…

Ubuntu18.04安装python3-pip 1.apt-get update更新源 2,ubuntu18.04默认安装了python3,但是pip没有安装,安装命令:apt install python3-pip(apt install python-pip安装的是python2b版本的pip) 安装mongodb: apt-get install mongodb. 执行mongod命令之后创建了一个/data/db. mongo进入mongodb的命令行操作. 这篇关于mongodb的安…

上一篇我简单说了说爬虫的原理,这一篇我们来讲讲python自带的请求库:urllib 在python2里边,用urllib库和urllib2库来实现请求的发送,但是在python3种在也不用那么麻烦了,因为只有一个库了:Urllib. urllib库是python的标准库,简而言之就是不用自己安装,使用时只需要import一下就好. urllib库包含4个模块: request: 最基本的HTTP请求模块,用来发起请求,就和人们在浏览器上输入网址来访问网页一样. error:     异常处理模…

requests的理想:HTTP for Humans 一.八个方法 相比较urllib模块,requests模块要简单很多,但是需要单独安装: 在windows系统下只需要在命令行输入命令 pip install requests 即可安装. 在 linux 系统下,只需要输入命令 sudo pip install requests ,即可安装. requests库的八个主要方法 方法 描述 requests.request() 构造一个请求,支持以下各种方法 requests.get() 向…

前言 时间的关系,这篇文章只记录了相关库的使用,没有进行深入分析,各位看官请见谅(还是因为懒.....) requests使用 发送无参数的get请求 r = requests.get('http://httpbin.org/get') print(r.text) 发送带参数的get请求 load = {'key1': 'value1', 'key2': 'value2'} r = requests.get("http://httpbin.org/get",params = load)…

在上一篇文章中,我们大概讲了一下urllib库中最重要的两个请求方法:urlopen()  和  Request() 但是仅仅凭借那两个方法无法执行一些更高级的请求,如Cookies处理,代理设置等等. 这是就是Handler大显神威的时候了,简单地说,他是各种处理器,有处理验证登录的,有处理Cookies的,有处理代理设置的. 高级用法 首先说一下urllib.request模块中的BaseHandler类,他是所有类的基类,它提供了最基本的方法,如:default_open()   prot…