今天我们来学习怎么从网络上抓取我们想得到的信息，要从网页上得到我们的信息，首先是从网络上通过url获取页面

的文本，先从最简单的开始，比如获取百度首页的html。

对应代码如下：

  • 获取网页html源码（1）

import urllib2

import re

#定义一个通过url获取页面的函数

def getHtml(url):

    response = urllib2.urlopen(url)

    print response.read()

getHtml("http://www.baidu.com")

我们还可以对这个函数进行细化：函数此时有返回值，返回的是我们的html源码

  • 获取网页html源码（2）

import urllib2

import re

#定义一个通过url获取页面的函数,返回html源码

def getHtml(url):

    request = urllib2.Request(url)

    response = urllib2.urlopen(request)

    html = response.read()

    return html

s = getHtml("http://www.baidu.com")

print s

获取到了我们需要的网页，接下来就是要把我们的网页保存到本地，代码如下，路径默认存放在D盘下的

PthonHtml文件夹下，保存的名称可以由我们传入参数进行设置

  • 下载网页html源码到本地

import urllib2

import re

#定义一个通过url获取页面的函数,返回html源码

def getHtml(url,name):

    request = urllib2.Request(url)

    response = urllib2.urlopen(request)

    html = response.read()

    fileobject = open("D://PythonHtml//"+name+".html","w") #w代表写入

    fileobject.write(html)

    fileobject.close()

getHtml("http://www.baidu.com","baidu")

这样我们就把网页下载到我们的本地文件夹下了，当然也可以不用下载，直接在线操作html也可以获取信息。

如果需要打开我们的文件的时候，可以这么写：

  • 打开本地网页html源码

import urllib2

import re

#定义一个通过url获取页面的函数,返回html源码

def getHtml(url,name):

    request = urllib2.Request(url)

    response = urllib2.urlopen(request)

    html = response.read()

    fileobject = open("D://PythonHtml//"+name+".html","w") #w代表写入

    fileobject.write(html)

    fileobject.close()

#打开文件

def openHtml():

    fileobject = open("D://PythonHtml//baidu.html","r")

    html = fileobject.read()

    print html

openHtml()

接下来，就是我们需要去解析网了，有了我们的网页后，就可以提取里面的内容了，比如说现在我要获取网页中的a标签的内容

为了方便，我先用一段写好的网页代码做测试，在从网上获取html运行

  • 解析html源码a标签的文本

import urllib2

import re

#获取a标签的文本

def getAlable():

    html = """

      <html>

        <head></head>

        <body>

        <div>

            <p>Hello</p>

            <p><a href="http://www.baidu.com">我是a标签文本</a></p>

            <a href="http://www.hao123.com">我也a标签</a>

        </div>

        </body>

      </html>

    """

    text = []

    txts = re.findall(r"<a.*?>(.*?)<\/a>",html,re.I|re.S|re.M)

    for i in txts:

            text.append(i)

    return text

s = getAlable()

for x in s:

    print x

运行结果如下：

那么我们就可以写出一个函数，专门用来获取网页中a标签的文本了：

import urllib2

import re

#获取a标签的文本

def getAlable(html):

    text = []

    txts = re.findall(r"<a.*?>(.*?)<\/a>",html,re.I|re.S|re.M)

    for i in txts:

            text.append(i)

    return text

获取了a标签的文本，我们同样也可以获取a标签的超链接url

  • 解析html源码a标签的URL

def getAurl():

    html = """

      <html>

        <head></head>

        <body>

        <div>

            <p>Hello</p>

            <p><a href="http://www.baidu.com">我是a标签文本</a></p>

            <a href="http://www.hao123.com">我也a标签</a>

        </div>

        </body>

      </html>

    """

    url = []

    txts = re.findall("(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')",html,re.I|re.S|re.M)

    for i in txts:

        print i

        url.append(i)

    return url

getAurl()

运行结果：

那么有没有方法可以既可以获取文本，又可以获取url呢？

  • 解析html源码a标签

def findLinks3():

    html = '''

        <html>

        <head></head>

        <body>

        <div>

            <p>Hello</p>

            <p><a href="http://www.baidu.com">我是a标签文本</a></p>

            <a href="http://www.hao123.com">我也a标签</a>

        </div>

        </body>

      </html>

      '''

    l = []

    urls = re.findall(r"<a.*?href=.*?<\/a>",html,re.I|re.S|re.M)

    for i in urls:

        print i

        l.append(i)

    return l

findLinks3()

运行结果：

是不是觉得不够清爽？我就想要 我是a标签文本 ：http://www.baidu.com 这么清爽的有木有？？？当然可以咯，就是把我获取到的在进行调用两函数吗！,

  • 解析html源码a标签的文本和超链接

def getAurl(html):

    url = []

    txts = re.findall("(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')",html,re.I|re.S|re.M)

    for i in txts:

        url.append(i)

    return url[0]

def findLinks3(html):

    l = []

    urls = re.findall(r"<a.*?href=.*?<\/a>",html,re.I|re.S|re.M)

    for i in urls:

        l.append(i)

    return l

def getTextUrl(html):

    d = {}

    l = findLinks3(html)

    for i in l:

        text = getAlable(i)

        url = getAurl(i)

        d[text] = url

        print text,url

    return d

html = """

      <html>

        <head></head>

        <body>

        <div>

            <p>Hello</p>

            <p><a href="http://www.baidu.com">我是a标签文本</a></p>

            <a href="http://www.hao123.com">我也a标签</a>

        </div>

        </body>

      </html>

"""

getTextUrl(html)

运行结果：

结果这些练习，有没有发现这些函数好像都有些相似的地方，唯一区别就在于re.findall("这里的内容就是正则表达式")，正式因为里面的内容不同，所以搜索字符串得到的

就大不一样，换句话说，得到的结果完全由里面的正则表达式来决定。

为此，正则表达式就是我们接下来的重中之重！！！

下一节： python解析网页的内容

Python学习过程（三）的更多相关文章

  1. 学习Python的三种境界

    前言 王国维在<人间词话>中将读书分为了三种境界:"古今之成大事业.大学问者,必经过三种之境界:'昨夜西风凋碧树,独上高楼,望尽天涯路'.此第一境也.'衣带渐宽终不悔,为伊消得人 ...

  2. 孤荷凌寒自学python第三十九天python 的线程锁Lock

    孤荷凌寒自学python第三十九天python的线程锁Lock (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 当多个线程同时操作一个文件等需要同时操作某一对象的情况发生时,很有可能发生冲突, ...

  3. 孤荷凌寒自学python第三十八天初识python的线程控制

     孤荷凌寒自学python第三十八天初识python的线程控制 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 一.线程 在操作系统中存在着很多的可执行的应用程序,每个应用程序启动后,就可以看 ...

  4. 孤荷凌寒自学python第三十七天python的文件与内存变量之间的序列化与反序列化

    孤荷凌寒自学python第三十七天python的文件与内存变量之间的序列化与反序列化 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 一.什么是序列化与反序列化 序列化是指将内存中的数据进行指 ...

  5. 孤荷凌寒自学python第三十五天python的文件操作之针对文件操作的os模块的相关内容

     孤荷凌寒自学python第三十五天python的文件操作之针对文件操作的os模块的相关内容 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 一.打开文件后,要务必记得关闭,所以一般的写法应当 ...

  6. 孤荷凌寒自学python第三十四天python的文件操作对file类的对象学习

     孤荷凌寒自学python第三十四天python的文件操作对file类的对象学习 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 一.close() 当一个file对象执行此方法时,将关闭当前 ...

  7. 孤荷凌寒自学python第三十三天python的文件操作初识

     孤荷凌寒自学python第三十三天python的文件操作初识 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 今天开始自学python的普通 文件操作部分的内容. 一.python的文件打开 ...

  8. 孤荷凌寒自学python第三十一天python的datetime.timedelta模块

     孤荷凌寒自学python第三十一天python的datetime.timedelta模块 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) datetime.timedelta模块是一个表示 ...

  9. 孤荷凌寒自学python第三十天python的datetime.datetime模块

     孤荷凌寒自学python第三十天python的datetime.datetime模块 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) datetime.datetime模块包含了:datet ...

  10. 孤荷凌寒自学python第三天 初识序列

    孤荷凌寒自学python第三天 初识序列 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) Python的序列非常让我着迷,之前学习的其它编程语言中没有非常特别关注过序列这种类型的对象,而pyt ...

随机推荐

  1. sass和less、stylus语法（2）

    6.运算符(Operations)CSS预处理器语言还具有运算的特性,其简单的讲,就是对数值型的Value(如:数字.颜色.变量等)进行加减乘除四则运算.这样的特性在CSS样式中是想都不敢想的,但在C ...

  2. springmvc----demo---login---bai

    web.xml配置: <?xml version="1.0" encoding="UTF-8"?> <web-app version=&quo ...

  3. Celery-4.1 用户指南: Optimizing (优化)

    简介 默认的配置做了很多折中考虑.它不是针对某个情况优化的,但是大多数情况下都工作的非常好. 基于一个特殊的使用场景,有很多优化可以做. 优化可以应用到运行环境的不同属性,可以是任务执行的时间,使用的 ...

  4. Linux 内核 UFO-非UFO 路径切换内存破坏漏洞的 PoC(CVE-2017-1000112)

    // A proof-of-concept local root exploit for CVE-2017-1000112. // Includes KASLR and SMEP bypasses. ...

  5. CentOS7 线上环境的一些 配置

    上周服务器被攻击导致上面收回了我们服务器的IP,所以这周重新安装部署了服务器,使用centos7系统.为了防止服务器再次被攻击,所以建议以下几点: 1. root密码要复杂一点,尽量字母数字特殊字符都 ...

  6. python 继承进阶

    继承进阶 面向对象 1.类:具有相同属性和方法 的一类事物 类名可以实例化一个对象 类名可以调用类属性,(静态属性 和(方法)动态属性) 2.对象:也就是实例    对象名:调用对象属性 调用方法 3 ...

  7. DAY10-MYSQL初识

    一 数据库管理软件的由来 基于我们之前所学,数据要想永久保存,都是保存于文件中,毫无疑问,一个文件仅仅只能存在于某一台机器上. 如果我们暂且忽略直接基于文件来存取数据的效率问题,并且假设程序所有的组件 ...

  8. 关于android中，菜单按钮点击事件首次执行之后再次执行需要双击按钮的问题

    有时候在获取事件的时候,需要双击才能获取,解决方法很简单,把返回值设为true,那么这个事件就不会再分发了,我预计是设为其他值会继续分发,造成事件的相应混乱

  9. Eclipse安装Web/JavaEE插件、Eclipse编写HTML代码

    1 Eclipse没有Web插件和JavaEE插件咋整 1.1 在Eclipse中菜单help选项中选择install new software选项 1.2 在work with 栏中输入 http: ...

  10. Luogu 2322 [HNOI2006]最短母串问题

    唔,太菜了,弄了好几个小时. 状压dp,设$f_{s, i}$表示选了集合$s$,以$i$结尾的最短长度,设$g_{i, j}$表示串$i$的后缀和串$j$的前缀的最长匹配长度. $f_{s, i} ...