Python3.6

库：urllib3, bs4

主程序是抓取亚马逊图书销售排名数据，但是亚马逊应该是加了反爬虫，拒绝疑似机器人的请求，这部分暂时以百度代替。

其实简单的页面抓取，常用的urllib.request就能实现，但是urllib3功能更多，应用前景更广，需要学习。

首先导入模块：

import urllib3, bs4

定义要访问的页面：

urltest = 'https://www.baidu.com'

定义函数，这里对比两种解码方法：

def httpget():

    http = urllib3.PoolManager()   #首先产生一个PoolManager实例

    urllib3.disable_warnings()     #忽略https的无效证书警报

    page = http.request('GET','%s'%urltest)   #发起GET请求

    print(page.status)        #服务器返回的代码

    print(page.data)          #服务器返回的数据，返回的是xml字符串

    print(page.data.decode())  #利用默认'utf-8'编码格式去解码

    res = bs4.BeautifulSoup(page.data,'lxml')  #利用lxml模块解码

    print(res)

    return None
 

执行函数httpget()输出结果：

200

b'<!DOCTYPE html><!--STATUS OK--><body link="#0000cc"><div ...（#省略）

<!DOCTYPE html><!--STATUS OK-->

<html>

<head>

    <meta http-equiv="content-type" content="text/html;charset=utf-8">

    <meta http-equiv="X-UA-Compatible" content="IE=Edge">

    <link rel="dns-prefetch" href="//s1.bdstatic.com"/>

    <link rel="dns-prefetch" href="//t1.baidu.com"/>

    <link rel="dns-prefetch" href="//t2.baidu.com"/>

    <link rel="dns-prefetch" href="//t3.baidu.com"/>

    <link rel="dns-prefetch" href="//t10.baidu.com"/>

    <link rel="dns-prefetch" href="//t11.baidu.com"/>

    <link rel="dns-prefetch" href="//t12.baidu.com"/>

    <link rel="dns-prefetch" href="//b1.bdstatic.com"/>

    <title>百度一下，你就知道</title>

　　...（#省略）
　　...（#省略）
</body></html>

<!DOCTYPE html>

<!--STATUS OK--><html>

<head>

<meta content="text/html;charset=utf-8" http-equiv="content-type"/>

<meta content="IE=Edge" http-equiv="X-UA-Compatible"/>

<link href="//s1.bdstatic.com" rel="dns-prefetch"/>

<link href="//t1.baidu.com" rel="dns-prefetch"/>

<link href="//t2.baidu.com" rel="dns-prefetch"/>

<link href="//t3.baidu.com" rel="dns-prefetch"/>

<link href="//t10.baidu.com" rel="dns-prefetch"/>

<link href="//t11.baidu.com" rel="dns-prefetch"/>

<link href="//t12.baidu.com" rel="dns-prefetch"/>

<link href="//b1.bdstatic.com" rel="dns-prefetch"/>

<title>百度一下，你就知道</title>

...（#省略）
...（#省略）

</body></html>

Process finished with exit code 0

在这里两种解码方式都没出错，但是如果换成比较复杂的页面，普通的decode()方式就容易报错。

比如京东这个页面：

url = 'https://item.jd.com/6072622.html'

将urltest替换成url之后执行代码，执行结果如下：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa1 in position 146: invalid start byte

Python-网站页面代码获取的更多相关文章

  1. 使用Python开发轻量级的Web框架以及基于WSGI的服务器来实现一个网站页面

    说明:该篇博客是博主一字一码编写的,实属不易,请尊重原创,谢谢大家! 目录 一丶项目说明 二丶数据准备 三丶使用网络TCP开发一个基于WSGI协议的Web服务器 四丶使用python3开发一个轻量级的 ...

  2. Python：如何用一行代码获取上个月是几月

    现在转一篇志军100发于公众号 Python之禅的文章: Python:如何用一行代码获取上个月是几月 抱歉我用了个有点标题党的标题,因为担心你错过了本文,但内容绝对干货,本文介绍的关于Python时 ...

  3. 通过浏览器F12开发工具快速获取别的网站前端代码的方法

    通过浏览器F12开发工具快速获取别的网站前端代码的方法 说明:直接另存为网页是比较老的做法,会有很多没用的东西下载下来.通过F12开发工具,sources获取到的是比较好的,有目录结构的源文件.

  4. 测试网站页面网速的一个简单Python脚本

    无聊之余,下面分享一个Python小脚本:测试网站页面访问速度 [root@huanqiu ~]# vim pywww.py #!/usr/bin/python # coding: UTF-8 imp ...

  5. 测试网站页面网速的Python脚本

    一.测试网站页面网速脚本 [root@salt ~]# cat check_url.py #!/usr/bin/python # coding: UTF-8 import StringIO,pycur ...

  6. 在某网站的登录页面登录时如果选择“记住用户名”,登录成功后会跳转到一个中间层（页面代码将登录的用户名和密码存在cookie）,中间页面中存在一个超链接，单击超链接可以链接到第三个页面查看信息。若选择“

    Response实现登录并记录用户名和密码信息 在某网站的登录页面登录时如果选择"记住用户名",登录成功后会跳转到一个中间层(页面代码将登录的用户名和密码存在cookie),中间页 ...

  7. 使用python登录CNZZ访问量统计网站，然后获取相应的数据

    思路: 第一步:使用pypeteer.launcher打开浏览器, 第二步:向CNZZ的登录(通过使用iframe嵌入的阿里巴巴单点登录页面),向iframe页面中自动输入用户名和密码,然后点击登录按 ...

  8. [JS,NodeJs]个人网站效果代码集合

    上次发的个人网站效果代码集合: 代码集合: 1.彩色文字墙[鼠标涟漪痕迹] 2.彩色旋转圆环 [模仿http://www.moma.org/interactives/exhibitions/2012/ ...

  9. python 常忘代码查询 和autohotkey补括号脚本和一些笔记和面试常见问题

    笔试一些注意点: --,23点43 今天做的京东笔试题目: 编程题目一定要先写变量取None的情况.今天就是因为没有写这个边界条件所以程序一直不对.以后要注意!!!!!!!!!!!!!!!!!!!!! ...

随机推荐

  1. DB2数据库代码页和实例代码页的区别（解决DB2乱码问题）

    DB2CODEPAGE:     DB2 实例级别的代码页设置,它会影响DB2相关应用程序对代码页转换时做出代码页判定.     可以通过 db2set DB2CODEPAEG= 命令将 DB2COD ...

  2. UNIX环境高级编程——网络编程常用函数及结构

    IP地址的转换 #include <arpa/inet.h>  int inet_aton(const char *strptr,                     struct i ...

  3. Oracle Apps DBA 常用命令

    数据库启动监听 addlnctl.sh start instance 启动数据库 addbctl.sh start 启动应用服务器 adstrtal.sh 停止应用服务器 adstpall.sh -- ...

  4. Android性能优化之常见的内存泄漏

    前言 对于内存泄漏,我想大家在开发中肯定都遇到过,只不过内存泄漏对我们来说并不是可见的,因为它是在堆中活动,而要想检测程序中是否有内存泄漏的产生,通常我们可以借助LeakCanary.MAT等工具来检 ...

  5. Chipmunk僵尸物理对象的出现和解决(一)

    最近在写的BrickHit游戏App中出现了一个比较头疼的问题. 该问题很难用常规手段调试,因为其发生看起来貌似是随机的. 我想在这里将这个问题的现象和解决过程详细的记录下来,一来避免其他童鞋走弯路, ...

  6. C 语言之银行ATM机界面

    其实就是简单地对switch的用法,希望能给广大读者一些思路,写出自己的创意界面. #include <stdio.h> void main() { char SelectKey,Cred ...

  7. ant+eclipse知识点详解及使用案例

    ant的优点和地位就不再阐述,下面直接上知识点: 在java中使用xml文件开发,有以下基本语法 (1)project:每个ant程序有且只有一个此标签,而且是类似于html的总标签,有name,de ...

  8. [加密]C#实现维吉尼亚加密与解密（解密前提为已知密匙）

    using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; usin ...

  9. 简单说说Android自定义view学习推荐的方式

    这几天比较受关注,挺开心的,嘿嘿. 这里给大家总结一下学习自定义view的一些技巧.  以后写自定义view可能不会写博客了,但是可以开源的我会把源码丢到github上我的地址:https://git ...

  10. 基于ROS_Arduino室内移动机器人SLAM实验测试

    纯手工搭建的机器人,因此外观并不美. 基于ROS(indigo)以及Arduino等搭建软硬件平台,包括语音.视觉.激光.码盘等传感器设备. 整体如下图所示: 底盘特写: 语音输入: Arduino模 ...