爬虫系列(八) 用requests实现天气查询

这篇文章我们将使用 requests 调用天气查询接口,实现一个天气查询的小模块,下面先贴上最终的效果图 1.接口分析虽然现在网络上有很多免费的天气查询接口,但是有很多网站都是需要注册登陆的,过程比较繁琐几经艰辛,博主终于找到一个不用注册可以直接使用的天气查询接口,以下是该接口的使用说明: 接口查询格式: https://www.sojson.com/open/api/weather/json.shtml?city={cityName} 其中 cityName 为待查询城市的名称,可以直接使…

爬虫系列(十) 用requests和xpath爬取豆瓣电影

这篇文章我们将使用 requests 和 xpath 爬取豆瓣电影 Top250,下面先贴上最终的效果图: 1.网页分析 (1)分析 URL 规律我们首先使用 Chrome 浏览器打开豆瓣电影 Top250,很容易可以判断出网站是一个静态网页然后我们分析网站的 URL 规律,以便于通过构造 URL 获取网站中所有网页的内容首页:https://movie.douban.com/top250 第二页:https://movie.douban.com/top250?start=25&filt…

爬虫系列(十一) 用requests和xpath爬取豆瓣电影评论

这篇文章,我们继续利用 requests 和 xpath 爬取豆瓣电影的短评,下面还是先贴上效果图: 1.网页分析 (1)翻页我们还是使用 Chrome 浏览器打开豆瓣电影中某一部电影的评论进行分析,这里示例为<一出好戏> 和之前一样,我们可以通过构造 URL 获取全部网页的内容,但是这次我们尝试使用一种新的方法 -- 翻页使用快捷键 Ctrl+Shift+I 打开开发者工具,然后使用快捷键 Ctrl+Shift+C 打开元素选择工具此时用鼠标点击网页中的后页,就会在源代码中自动定位到…

爬虫系列4：Requests+Xpath 爬取动态数据

爬虫系列4:Requests+Xpath 爬取动态数据 [抓取]:参考前文爬虫系列1:https://www.cnblogs.com/yizhiamumu/p/9451093.html [分页]:参考前文爬虫系列2:https://www.cnblogs.com/yizhiamumu/p/10267721.html [保存]:参考前文爬虫系列3:https://www.cnblogs.com/yizhiamumu/p/10270926.html [动态]:参考前文爬虫系列4:https:…

爬虫系列3：Requests+Xpath 爬取租房网站信息并保存本地

数据保存本地 [抓取]:参考前文爬虫系列1:https://www.cnblogs.com/yizhiamumu/p/9451093.html [分页]:参考前文爬虫系列2:https://www.cnblogs.com/yizhiamumu/p/10267721.html [保存]:参考前文爬虫系列3:https://www.cnblogs.com/yizhiamumu/p/10270926.html [动态]:参考前文爬虫系列4:https://www.cnblogs.com/yiz…

爬虫系列2：Requests+Xpath 爬取租房网站信息

Requests+Xpath 爬取租房网站信息 [抓取]:参考前文爬虫系列1:https://www.cnblogs.com/yizhiamumu/p/9451093.html [分页]:参考前文爬虫系列2:https://www.cnblogs.com/yizhiamumu/p/10267721.html [保存]:参考前文爬虫系列3:https://www.cnblogs.com/yizhiamumu/p/10270926.html [动态]:参考前文爬虫系列4:https://ww…

爬虫系列1：Requests+Xpath 爬取豆瓣电影TOP

爬虫1:Requests+Xpath 爬取豆瓣电影TOP [抓取]:参考前文爬虫系列1:https://www.cnblogs.com/yizhiamumu/p/9451093.html [分页]:参考前文爬虫系列2:https://www.cnblogs.com/yizhiamumu/p/10267721.html [保存]:参考前文爬虫系列3:https://www.cnblogs.com/yizhiamumu/p/10270926.html [动态]:参考前文爬虫系列4:https…

PYTHON 爬虫笔记八:利用Requests+正则表达式爬取猫眼电影top100（实战项目一）

利用Requests+正则表达式爬取猫眼电影top100 目标站点分析流程框架爬虫实战使用requests库获取top100首页: import requests def get_one_page(url): response = requests.get(url) if response.status_code == 200: return response.text return None def main(): url = 'http://maoyan.com/board/4?off…

python爬虫（八） requests库之 get请求

requests库比urllib库更加方便,包含了很多功能. 1.在使用之前需要先安装pip,在pycharm中打开: 写入pip install requests命令,即可下载在github中有关于requests库的介绍,网址:https://github.com/requests/requests 2.Get请求 response=requests.get("https://www.baidu.com/") 我们要完成在百度的页面获取中国的相关信息,相当于输入中国: 用爬虫代…

爬虫系列(七) requests的基本使用

一.requests 简介 requests 是一个功能强大.简单易用的 HTTP 请求库,可以使用 pip install requests 命令进行安装下面我们将会介绍 requests 中常用的方法,详细内容请参考官方文档二.requests 使用在开始讲解前,先给大家提供一个用于测试的网站,http://www.httpbin.org/ 这个网站可以在页面上返回所发送请求的相关信息,十分适合练习使用好了,下面正式开始! 1.get 方法该方法用于向目标网址发送请求,接收响…

爬虫系列(三) urllib的基本使用

一.urllib 简介 urllib 是 Python3 中自带的 HTTP 请求库,无需复杂的安装过程即可正常使用,十分适合爬虫入门 urllib 中包含四个模块,分别是 request:请求处理模块 parse:URL 处理模块 error:异常处理模块 robotparser:robots.txt 解析模块以下我们将会分别讲解 urllib 中各模块的使用方法,但是由于篇幅问题,本文只会涉及模块中比较常用的内容详细内容可以参考官方文档:https://docs.python.org/3…

爬虫系列(九) xpath的基本使用

一.xpath 简介究竟什么是 xpath 呢?简单来说,xpath 就是一种在 XML 文档中查找信息的语言而 XML 文档就是由一系列节点构成的树,例如,下面是一份简单的 XML 文档: <html> <body> <div> <p>Hello world<p> <a href="/home">Click here</a> </div> </body> </html…

爬虫系列(二) Chrome抓包分析

在这篇文章中,我们将尝试使用直观的网页分析工具(Chrome 开发者工具)对网页进行抓包分析,更加深入的了解网络爬虫的本质与内涵 1.测试环境浏览器:Chrome 浏览器浏览器版本:67.0.3396.99 (正式版本) (32 位) 网页分析工具:开发者工具 2.网页分析 (1)网页源代码分析我们知道,网页有静态网页和动态网页之分,很多人会误认为静态网页就是没有动态效果的网页,其实这种说法是不对的静态网页是指没有后台数据库的不可交互网页 ,常以 .htm..html..xml 为后缀…

爬虫系列(四) 用urllib实现英语翻译

这篇文章我们将以百度翻译为例,分析网络请求的过程,然后使用 urllib 编写一个英语翻译的小模块 1.准备工作首先使用 Chrome 浏览器打开百度翻译,这里,我们选择 Chrome 浏览器自带的开发者工具对网站进行抓包分析 2.抓包分析打开 Network 选项卡进行监控,并选择 XHR 作为 Filter 进行过滤然后,我们在输入框中输入待翻译的文字进行测试,可以看到列表中出现三个数据包分别是 sug.v2transapi 和 langdetect,下面我们一个一个进行分析…

爬虫系列(五) re的基本使用

1.简介究竟什么是正则表达式 (Regular Expression) 呢?可以用下面的一句话简单概括: 正则表达式是一组特殊的字符序列,由一些事先定义好的字符以及这些字符的组合形成,常常用于匹配字符串在 Python 中,re 模块就是一个用于处理正则表达式的模块,详细信息可以参考官方文档另外,这里再给大家推荐一个博主常用的测试正则表达式的网站:http://tool.oschina.net/regex,不妨一试 2.特殊符号上面说过,正则表达式实际上是由一些事先定义好的字符以…

爬虫系列(六) 用urllib和re爬取百度贴吧

这篇文章我们将使用 urllib 和 re 模块爬取百度贴吧,并使用三种文件格式存储数据,下面先贴上最终的效果图 1.网页分析 (1)准备工作首先我们使用 Chrome 浏览器打开百度贴吧,在输入栏中输入关键字进行搜索,这里示例为 "计算机吧" (2)分析 URL 规律接下来我们开始分析网站的 URL 规律,以便于通过构造 URL 获取网站中所有网页的内容第一页:http://tieba.baidu.com/f?kw=%E8%AE%A1%E7%AE%97%E6%9C%BA&am…

爬虫系列(十二) selenium的基本使用

一.selenium 简介随着网络技术的发展,目前大部分网站都采用动态加载技术,常见的有 JavaScript 动态渲染和 Ajax 动态加载对于爬取这些网站,一般有两种思路: 分析 Ajax 请求,通过模拟请求得到真实的数据,这种方法在之前的文章中已经多次使用,这里就不再赘述了使用 selenium 模拟浏览器进行动态渲染,从而获取网站返回的真实数据,以下我们将详细讲解这种方法 selenium 究竟是什么呢?简单来说,selenium 就是一个用于 Web 应用程序的测试工具根据官方…

爬虫系列(十三) 用selenium爬取京东商品

这篇文章,我们将通过 selenium 模拟用户使用浏览器的行为,爬取京东商品信息,还是先放上最终的效果图: 1.网页分析 (1)初步分析原本博主打算写一个能够爬取所有商品信息的爬虫,可是在分析过程中发现,不同商品的网页结构竟然是不一样的所以,后来就放弃了这个想法,转为只爬取笔记本类型商品的信息如果需要爬取其它类型的商品信息,只需把提取数据的规则改变一下就好,有兴趣的朋友可以自己试试看呀好了,下面我们正式开始! 首先,用 Chrome 浏览器打开笔记本商品首页,我们很容易发现该网页是一…

Python 爬虫+tkinter界面实现历史天气查询

文章目录一.实现效果 1. python代码 2. 运行效果二.基本思路 1. 爬虫部分 2. tkinter界面一.实现效果很多人学习python,不知道从何学起.很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手.很多已经做案例的人,却不知道如何去学习更加高深的知识.那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码!QQ群:101677771 1. python代码 import requests from lxml im…

python 全栈开发，Day134(爬虫系列之第1章-requests模块)

一.爬虫系列之第1章-requests模块爬虫简介概述近年来,随着网络应用的逐渐扩展和深入,如何高效的获取网上数据成为了无数公司和个人的追求,在大数据时代,谁掌握了更多的数据,谁就可以获得更高的利益,而网络爬虫是其中最为常用的一种从网上爬取数据的手段. 网络爬虫,即Web Spider,是一个很形象的名字.如果把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛.网络蜘蛛是通过网页的链接地址来寻找网页的.从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链…

Python 爬虫实现天气查询（可视化界面版）

github项目地址:StarMan Python 实现天气查询的程序早已完成,近日开学无课,昨晚心血来潮想做一个较为友好的界面版本,便匆忙行动了起来. 在之前已有的程序的基础上使用Tkinter 模块实现GUI 并不是很难,但是在做的过程中<我的英雄学院>更新了,所以中途耽误了,今天早上才做好.(~.~) 代码的主体是爬虫与Tkinter. 执行程序后会先出现一个选择城市的界面,这里需要输入城市名.点击确认即会出现城市天气状况. 执行效果如下: 以下为源代码: from tkinter im…

[python爬虫]Requests-BeautifulSoup-Re库方案--Requests库介绍

[根据北京理工大学嵩天老师“Python网络爬虫与信息提取”慕课课程编写文章中部分图片来自老师PPT 慕课链接:https://www.icourse163.org/learn/BIT-1001870001?tid=1002236011#/learn/announce] 一.python爬虫的思路爬虫是指根据一定规则(如页面HTML结构)可以在网络页面上获取大量数据的代码或程序.python语言提供了很多适合编写爬虫的库. python爬虫有很多种思路,这里使用3个python库搭建:Re…

Python爬虫实战八之利用Selenium抓取淘宝匿名旺旺

更新其实本文的初衷是为了获取淘宝的非匿名旺旺,在淘宝详情页的最下方有相关评论,含有非匿名旺旺号,快一年了淘宝都没有修复这个. 可就在今天,淘宝把所有的账号设置成了匿名显示,SO,获取非匿名旺旺号已经不可能了.那本节就带大家抓取匿名旺旺号熟悉一下Selenium吧. 2016/7/1 前言嗯,淘宝,它一直是个难搞的家伙. 而且买家在买宝贝的时候大多数都是匿名评论的,大家都知道非匿名评论是非常有用的,比如对于大数据分析,分析某个宝贝的购买用户星级状况等等. 现在已经不能获取非匿名了,此句已没有意…

网络爬虫必备知识之requests库

就库的范围,个人认为网络爬虫必备库知识包括urllib.requests.re.BeautifulSoup.concurrent.futures,接下来将结对requests库的使用方法进行总结 1. requests库简介官方中文文档:http://docs.python-requests.org/zh_CN/latest/user/quickstart.html Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库…

Flask开发天气查询软件，带你掌握pipenv的使用与手机Termux下的部署

关于pipenv 昨天介绍了pipenv这个相比于virtualenv更高端大气上档次的虚拟环境管理软件,但看了下流量貌似不是很受欢迎,也许是我介绍的不够好吧.那么今天就拿它做一个例子,开发一款天气预报查询软件,然后打包部署到手机的Termux下. 天气预报获取天气预报数据,离不开中国天气网登陆网站,在搜索栏中输入城市名称点击搜索,即可获取该地区的天气预报.比如我搜索西安,完成后会跳转至下面的网址: 其他的都好说,但是这个地区编码怎么搞?F12看看网络请求-. 爬虫思路我们可以看到网站先通…

爬虫系列：连接网站与解析 HTML

这篇文章是爬虫系列第三期,讲解使用 Python 连接到网站,并使用 BeautifulSoup 解析 HTML 页面. 在 Python 中我们使用 requests 库来访问目标网站,使用 BeautifulSoup 对获取的内容进行解析.由于这两个库并不是 Python 标准库,因此需要单独安装这两个库: pip install beautifulsoup4 pip install requests 下面是获取网站内容的示例代码: from urllib.error import HTTP…

CRL快速开发框架系列教程二(基于Lambda表达式查询)

本系列目录 CRL快速开发框架系列教程一(Code First数据表不需再关心) CRL快速开发框架系列教程二(基于Lambda表达式查询) CRL快速开发框架系列教程三(更新数据) CRL快速开发框架系列教程四(删除数据) CRL快速开发框架系列教程五(使用缓存) CRL快速开发框架系列教程六(分布式缓存解决方案) CRL快速开发框架系列教程七(使用事务) CRL快速开发框架系列教程八(使用CRL.Package) CRL快速开发框架系列教程九(导入/导出数据) CRL快速开发框架系列教程十(…

根据中国气象局提供的API接口实现天气查询

中国气象局提供了三个天气查询的API接口: [1]http://www.weather.com.cn/data/sk/101190101.html [2]http://www.weather.com.cn/data/cityinfo/101190101.html [3]http://m.weather.com.cn/data/101190101.html 以json格式返回数据,第一和第二个接口返回当天实时的天气数据,第三个返回未来五天天气情况. 其中地址里的加粗显示的数字表示城市的代码:101…

SQL Server 2008空间数据应用系列八：基于Bing Maps(Silverlight)的空间数据存储

原文:SQL Server 2008空间数据应用系列八:基于Bing Maps(Silverlight)的空间数据存储友情提示,您阅读本篇博文的先决条件如下: 1.本文示例基于Microsoft SQL Server 2008 R2调测. 2.具备 Transact-SQL 编程经验和使用 SQL Server Management Studio 的经验. 3.具有使用 Microsoft Visual Studio 进行 Microsoft .NET Framework开发的经验. 4.具有…

Python3爬虫系列：理论+实验+爬取妹子图实战

Github: https://github.com/wangy8961/python3-concurrency-pics-02 ,欢迎star 爬虫系列: (1) 理论 Python3爬虫系列01 (理论) - I/O Models 阻塞非阻塞同步异步 Python3爬虫系列02 (理论) - Python并发编程 Python3爬虫系列06 (理论) - 可迭代对象.迭代器.生成器 Python3爬虫系列07 (理论) - 协程 Python3爬虫系列08 (理论) - 使用async…

【爬虫系列(八) 用requests实现天气查询】的更多相关文章