原博客地址：

https://www.cnblogs.com/dengyg200891/p/6060010.html

 # -*- coding:utf-8 -*-

 #python 2.7

 #XiaoDeng

 #http://tieba.baidu.com/p/2460150866

 #标签操作

 from bs4 import BeautifulSoup

 import urllib.request

 import re

 #如果是网址，可以用这个办法来读取网页

 #html_doc = "http://tieba.baidu.com/p/2460150866"

 #req = urllib.request.Request(html_doc)

 #webpage = urllib.request.urlopen(req)

 #html = webpage.read()

 html="""

 <html><head><title>The Dormouse's story</title></head>

 <body>

 <p class="title" name="dromouse"><b>The Dormouse's story</b></p>

 <p class="story">Once upon a time there were three little sisters; and their names were

 <a href="http://example.com/elsie" class="sister" id="xiaodeng"><!-- Elsie --></a>,

 <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

 <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

 <a href="http://example.com/lacie" class="sister" id="xiaodeng">Lacie</a>

 and they lived at the bottom of a well.</p>

 <p class="story">...</p>

 """

 soup = BeautifulSoup(html, 'html.parser')   #文档对象

 #查找a标签,只会查找出一个a标签

 #print(soup.a)#<a class="sister" href="http://example.com/elsie" id="xiaodeng"><!-- Elsie --></a>

 for k in soup.find_all('a'):

     print(k)

     print(k['class'])#查a标签的class属性

     print(k['id'])#查a标签的id值

     print(k['href'])#查a标签的href值

     print(k.string)#查a标签的string

     #tag.get('calss')，也可以达到这个效果

在使用该方法的k['href']读取网页链接时，编译器报错：

 KeyError: 'href'

修改为：

 k.get('href')

成功运行，取出href中的链接。



												


											
python 爬取<a>标签内href的方法及遇到的问题的更多相关文章
	

    
								
  1. python爬取网站数据保存使用的方法
		
    这篇文章主要介绍了使用Python从网上爬取特定属性数据保存的方法,其中解决了编码问题和如何使用正则匹配数据的方法,详情看下文     编码问题因为涉及到中文,所以必然地涉及到了编码的问题,这一次借这 ...
    
		
    2. 
						
  2. 使用python爬取百度贴吧内的图片
		
    1. 首先通过urllib获取网页的源码 # 定义一个getHtml()函数 def getHtml(url): try: page = urllib.urlopen(url) # urllib.ur ...
    
		
    3. 
						
  3. 手把手教你使用Python爬取西刺代理数据（下篇）
		
    /1 前言/ 前几天小编发布了手把手教你使用Python爬取西次代理数据(上篇),木有赶上车的小伙伴,可以戳进去看看.今天小编带大家进行网页结构的分析以及网页数据的提取,具体步骤如下. /2 首页分析 ...
    
		
    4. 
						
  4. Python 爬取美团酒店信息
		
    事由:近期和朋友聊天,聊到黄山酒店事情,需要了解一下黄山的酒店情况,然后就想着用python 爬一些数据出来,做个参考 主要思路:通过查找,基本思路清晰,目标明确,仅仅爬取美团莫一地区的酒店信息,不过 ...
    
		
    5. 
						
  5. python 爬取豆瓣书籍信息
		
    继爬取 猫眼电影TOP100榜单 之后,再来爬一下豆瓣的书籍信息(主要是书的信息,评分及占比,评论并未爬取).原创,转载请联系我. 需求:爬取豆瓣某类型标签下的所有书籍的详细信息及评分 语言:pyth ...
    
		
    6. 
						
  6. Python爬取网页信息
		
    Python爬取网页信息的步骤 以爬取英文名字网站(https://nameberry.com/)中每个名字的评论内容,包括英文名,用户名,评论的时间和评论的内容为例. 1.确认网址 在浏览器中输入初 ...
    
		
    7. 
						
  7. Python 爬取 热词并进行分类数据分析-[解释修复+热词引用]
		
    日期:2020.02.02 博客期:141 星期日 [本博客的代码如若要使用,请在下方评论区留言,之后再用(就是跟我说一声)] 所有相关跳转: a.[简单准备] b.[云图制作+数据导入] c.[拓扑 ...
    
		
    8. 
						
  8. steam夏日促销悄然开始，用Python爬取排行榜上的游戏打折信息
		
    前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 不知不觉,一年一度如火如荼的steam夏日促销悄然开始了.每年通过大大小小 ...
    
		
    9. 
						
  9. Python爬取网易云音乐歌手歌曲和歌单
		
    仅供学习参考 Python爬取网易云音乐网易云音乐歌手歌曲和歌单,并下载到本地 很多人学习python,不知道从何学起.很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手.很多已经做 ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. 笨办法学Python（learn python the hard way）--练习程序39-40
			
    下面是练习39-练习40,基于python3 #ex39.py 1 ten_things = "Apples Oranges Crows Telephone Light Sugar" ...
    
			
    2. 
						
  2. 神奇的hsl
			
    HSL色彩模式是工业界的一种颜色标准,是通过对色相(H).饱和度(S).明度(L)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的.今天我们看看这种色彩模式,能在CSS中产生什么神奇的变 ...
    
			
    3. 
						
  3. JMeter  分布式调度压测部署
			
    我们遇到jmeter被假死死了,这里有2个原因,一是jmeter原本是java写的,heap受硬件限制需要调优,二是单机无法分解超大并发比如100万+并发压测,因此,我们分二部走,首先我们需要进行jm ...
    
			
    4. 
						
  4. Lambda拉姆达表达式
			
    拉姆达表达式常用于委托,也就是说拉姆达表达式是匿名函数,简单点就是函数. a => a.Equals("string"); //原形为: (a) => { return ...
    
			
    5. 
						
  5. is_numeric漏洞总结
			
    将16进制数据判断为数据,这样在存入数据库后,数据库会把16进制解析成字符串,可能造成二次注入 转载: https://www.jianshu.com/p/e7cf997d6ccb
    
			
    6. 
						
  6. Hibernate入门2
			
    实体类的编写规则 要求实体类的属性是私有的 要求实体类中的私有属性有公开的get和set方法(设置器和访问器) 要求实体类有一个属性作为唯一值(一般使用id值) 实体类属性建议不使用基本数据类型,使用 ...
    
			
    7. 
						
  7. [Bzoj1731]排队布局
			
    洛谷上的翻译是真的哲学♂♂♂ 非常van的题目传送门♂♂♂ 个人认为这题充其量也就是个蓝(nan)题,首先处理-1的情况,-1的情况是不等式组无解,按照差分约束的规则,无解说明出现了负环,先跑一遍以0 ...
    
			
    8. 
						
  8. python学习第十四天字典的del(),pop().popitem(),clear()删除方法
			
    字典的每个键值 key=>value 数据类型,字典的key是唯一的,Value可以一样 names={'玖乐公司网址':‘www.96net.com.cn’,"电池网":' ...
    
			
    9. 
						
  9. 远程连接不上centos的mysql的解决方法
			
    1.防火墙没有开放3306端口 centos 有两种防火墙 FirewallD和iptables防火墙 centos7 使用的是FirewallD防火墙. 1.FirewallD防火墙开放3306端口 ...
    
			
    10. 
						
  10. 对VS2019进行32位汇编环境配置
			
    1.库文件(很重要) 用我这一份就行:https://www.lanzous.com/i6364hg 2.VS依赖库 打开VS2019,选择桌面向导 配置项目时,选择新项目. 选择生成依赖项 选中ma ...
    
			
    11.