Python3.6

库：urllib3, bs4

主程序是抓取亚马逊图书销售排名数据，但是亚马逊应该是加了反爬虫，拒绝疑似机器人的请求，这部分暂时以百度代替。

其实简单的页面抓取，常用的urllib.request就能实现，但是urllib3功能更多，应用前景更广，需要学习。

首先导入模块：

import urllib3, bs4

定义要访问的页面：

urltest = 'https://www.baidu.com'

定义函数，这里对比两种解码方法：

def httpget():

    http = urllib3.PoolManager()   #首先产生一个PoolManager实例

    urllib3.disable_warnings()     #忽略https的无效证书警报

    page = http.request('GET','%s'%urltest)   #发起GET请求

    print(page.status)        #服务器返回的代码

    print(page.data)          #服务器返回的数据，返回的是xml字符串

    print(page.data.decode())  #利用默认'utf-8'编码格式去解码

    res = bs4.BeautifulSoup(page.data,'lxml')  #利用lxml模块解码

    print(res)

    return None
 

执行函数httpget()输出结果：

200

b'<!DOCTYPE html><!--STATUS OK--><body link="#0000cc"><div ...（#省略）

<!DOCTYPE html><!--STATUS OK-->

<html>

<head>

    <meta http-equiv="content-type" content="text/html;charset=utf-8">

    <meta http-equiv="X-UA-Compatible" content="IE=Edge">

    <link rel="dns-prefetch" href="//s1.bdstatic.com"/>

    <link rel="dns-prefetch" href="//t1.baidu.com"/>

    <link rel="dns-prefetch" href="//t2.baidu.com"/>

    <link rel="dns-prefetch" href="//t3.baidu.com"/>

    <link rel="dns-prefetch" href="//t10.baidu.com"/>

    <link rel="dns-prefetch" href="//t11.baidu.com"/>

    <link rel="dns-prefetch" href="//t12.baidu.com"/>

    <link rel="dns-prefetch" href="//b1.bdstatic.com"/>

    <title>百度一下，你就知道</title>

　　...（#省略）
　　...（#省略）
</body></html>

<!DOCTYPE html>

<!--STATUS OK--><html>

<head>

<meta content="text/html;charset=utf-8" http-equiv="content-type"/>

<meta content="IE=Edge" http-equiv="X-UA-Compatible"/>

<link href="//s1.bdstatic.com" rel="dns-prefetch"/>

<link href="//t1.baidu.com" rel="dns-prefetch"/>

<link href="//t2.baidu.com" rel="dns-prefetch"/>

<link href="//t3.baidu.com" rel="dns-prefetch"/>

<link href="//t10.baidu.com" rel="dns-prefetch"/>

<link href="//t11.baidu.com" rel="dns-prefetch"/>

<link href="//t12.baidu.com" rel="dns-prefetch"/>

<link href="//b1.bdstatic.com" rel="dns-prefetch"/>

<title>百度一下，你就知道</title>

...（#省略）
...（#省略）

</body></html>

Process finished with exit code 0

在这里两种解码方式都没出错，但是如果换成比较复杂的页面，普通的decode()方式就容易报错。

比如京东这个页面：

url = 'https://item.jd.com/6072622.html'

将urltest替换成url之后执行代码，执行结果如下：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa1 in position 146: invalid start byte

Python-网站页面代码获取的更多相关文章

  1. 使用Python开发轻量级的Web框架以及基于WSGI的服务器来实现一个网站页面

    说明:该篇博客是博主一字一码编写的,实属不易,请尊重原创,谢谢大家! 目录 一丶项目说明 二丶数据准备 三丶使用网络TCP开发一个基于WSGI协议的Web服务器 四丶使用python3开发一个轻量级的 ...

  2. Python：如何用一行代码获取上个月是几月

    现在转一篇志军100发于公众号 Python之禅的文章: Python:如何用一行代码获取上个月是几月 抱歉我用了个有点标题党的标题,因为担心你错过了本文,但内容绝对干货,本文介绍的关于Python时 ...

  3. 通过浏览器F12开发工具快速获取别的网站前端代码的方法

    通过浏览器F12开发工具快速获取别的网站前端代码的方法 说明:直接另存为网页是比较老的做法,会有很多没用的东西下载下来.通过F12开发工具,sources获取到的是比较好的,有目录结构的源文件.

  4. 测试网站页面网速的一个简单Python脚本

    无聊之余,下面分享一个Python小脚本:测试网站页面访问速度 [root@huanqiu ~]# vim pywww.py #!/usr/bin/python # coding: UTF-8 imp ...

  5. 测试网站页面网速的Python脚本

    一.测试网站页面网速脚本 [root@salt ~]# cat check_url.py #!/usr/bin/python # coding: UTF-8 import StringIO,pycur ...

  6. 在某网站的登录页面登录时如果选择“记住用户名”,登录成功后会跳转到一个中间层（页面代码将登录的用户名和密码存在cookie）,中间页面中存在一个超链接，单击超链接可以链接到第三个页面查看信息。若选择“

    Response实现登录并记录用户名和密码信息 在某网站的登录页面登录时如果选择"记住用户名",登录成功后会跳转到一个中间层(页面代码将登录的用户名和密码存在cookie),中间页 ...

  7. 使用python登录CNZZ访问量统计网站，然后获取相应的数据

    思路: 第一步:使用pypeteer.launcher打开浏览器, 第二步:向CNZZ的登录(通过使用iframe嵌入的阿里巴巴单点登录页面),向iframe页面中自动输入用户名和密码,然后点击登录按 ...

  8. [JS,NodeJs]个人网站效果代码集合

    上次发的个人网站效果代码集合: 代码集合: 1.彩色文字墙[鼠标涟漪痕迹] 2.彩色旋转圆环 [模仿http://www.moma.org/interactives/exhibitions/2012/ ...

  9. python 常忘代码查询 和autohotkey补括号脚本和一些笔记和面试常见问题

    笔试一些注意点: --,23点43 今天做的京东笔试题目: 编程题目一定要先写变量取None的情况.今天就是因为没有写这个边界条件所以程序一直不对.以后要注意!!!!!!!!!!!!!!!!!!!!! ...

随机推荐

  1. JavaI/O体系详解

    Java中IO操作主要是指使用Java进行输入,输出操作,Java中所有的IO操作类都存放在Java.io包中,在使用时需要导入此包. 在整个Java.io包中最重要的就是5个类和一个接口.5个类指的 ...

  2. pig中查询top k，返回每个hour和ad_network_id下最大两个记录（SUBSTRING，order，COUNT_STAR，limit）

    pig里面是有TOP函数,不知道为什么用不了.有时间要去看看pig源码了. SET job.name 'top_k'; SET job.priority HIGH; --REGISTER piggyb ...

  3. 关于Debug和Release之本质区别的讨论

    一.Debug 和 Release 编译方式的本质区别     Debug 通常称为调试版本,它包含调试信息,并且不作任何优化,便于程序员调试程序.Release 称为发布版本,它往往是进行了各种优化 ...

  4. 《java入门第一季》之LinkList模拟桟结构案例

    需求:请用LinkedList模拟栈数据结构的集合,并测试 题目的意思是: 你自己的定义一个集合类,在这个集合类内部可以使用LinkedList模拟. 定义一个类叫MyStack代码如下: packa ...

  5. 《java入门第一季》之好玩的正则表达式

    先不通过正则表达式来判断输入的qq号码是否正确. import java.util.Scanner; /* * 校验qq号码. * 1:要求必须是5-15位数字 * 2:0不能开头 * * 分析: * ...

  6. 【Android 应用开发】Android开发 使用 adb logcat 显示 Android 日志

    作者 : 万境绝尘  转载请著名出处 eclipse 自带的 LogCat 工具太垃圾了, 开始用 adb logcat 在终端查看日志; 1. 解析 adb logcat 的帮助信息 在命令行中输入 ...

  7. Linux进程-命令行参数和环境列表

    命令行参数 在C中,main函数有很多的变种,比如 main(), int main(), int main(int argc, char *argv[]), int main(int argc, c ...

  8. 第三方Charts绘制图表四种形式:饼状图，雷达图，柱状图，直线图

    对于第三方框架Charts(Swift版本,在OC项目中需要添加桥接头文件),首先要解决在项目中集成的问题,集成步骤: 一.下载Charts框架 下载地址:https://github.com/dan ...

  9. Ionic APP-Web SPA开发进阶(二)Ionic进阶之路由去哪了

    Ionic进阶之路由去哪了 项目需求 在查看药品时,从药品列表中可以通过点击药品列表获取某一药品详情.提交订单时,同样可以查看药品详情.两种情形下,从药品详情返回后,应分别返回至原来的页面.如下图所示 ...

  10. Android Studio下使用NDK的流程

    我要重新拿回持之以恒徽章!! 老规矩,先说看能学会什么:ANDROID STUDIO下NDK的使用方法.JNI的基本使用方法,C语言调用JAVA的方法. 首先要下载NDK,如果你没有VPN可以来htt ...