一。request库

import json

import requests

from io import BytesIO

#显示各种函数相当于api

# print(dir(requests))

url = 'http://www.baidu.com'

r = requests.get(url)

print(r.text)

print(r.status_code)

print(r.encoding)
结果：


# 传递参数：不如http://aaa.com?pageId=1&type=content

params = {'k1':'v1', 'k2':'v2'}

r = requests.get('http://httpbin.org/get', params)

print(r.url)

结果：
# 二进制数据

# r = requests.get('http://i-2.shouji56.com/2015/2/11/23dab5c5-336d-4686-9713-ec44d21958e3.jpg')

# image = Image.open(BytesIO(r.content))

# image.save('meinv.jpg')

# json处理

r = requests.get('https://github.com/timeline.json')

print(type(r.json))

print(r.text)
结果：


# 原始数据处理

# 流式数据写入

r = requests.get('http://i-2.shouji56.com/2015/2/11/23dab5c5-336d-4686-9713-ec44d21958e3.jpg', stream = True)

with open('meinv2.jpg', 'wb+') as f:

    for chunk in r.iter_content(1024):

        f.write(chunk)

# 提交表单

form = {'username':'user', 'password':'pass'}

r = requests.post('http://httpbin.org/post', data = form)

print(r.text)
结果：参数以表单形式提交，所以参数放在form参数中
r = requests.post('http://httpbin.org/post', data = json.dumps(form))

print(r.text)
结果：参数不是以form表单提交的，所以放在json字段中

# cookie

url = 'http://www.baidu.com'

r = requests.get(url)

cookies = r.cookies

#cookie实际上是一个字典

for k, v in cookies.get_dict().items():

    print(k, v)

结果：cookie实际上是一个键值对
cookies = {'c1':'v1', 'c2': 'v2'}

r = requests.get('http://httpbin.org/cookies', cookies = cookies)

print(r.text)

结果：
# 重定向和重定向历史

r = requests.head('http://github.com', allow_redirects = True)

print(r.url)

print(r.status_code)

print(r.history)

结果：通过301定向
# # 代理

#

# proxies = {'http': ',,,', 'https': '...'}

# r = requests.get('...', proxies = proxies)

 二。BeautifulSoup库

html:举例如下

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="title" name="dromouse"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

解析代码如下：

from bs4 import BeautifulSoup

soup = BeautifulSoup(open('test.html'))
#使html文本更加结构化

# print(soup.prettify())

# Tag

print(type(soup.title))
结果：bs4的一个类
print(soup.title.name)
print(soup.title)
结果如下：
# String

print(type(soup.title.string))

print(soup.title.string)

结果如下：只显示标签里面内容
# Comment

print(type(soup.a.string))

print(soup.a.string)
结果：显示注释中的内容，所以有时需要判断获取到的内容是不是注释


#

# '''

for item in soup.body.contents:

    print(item.name)

结果：body下面有三个item
# CSS查询

print(soup.select('.sister'))
结果：样式选择器返回带有某个样式的所有内容 结果为一个list
print(soup.select('#link1'))
结果：ID选择器，选择ID等于link1的内容
print(soup.select('head > title'))

结果：



a_s = soup.select('a')

for a in a_s:

    print(a)
结果：标签选择器，选择所有a标签的





持续更新中。。。。，欢迎大家关注我的公众号LHWorld.


												


											
Python爬虫知识点二的更多相关文章
	

    
								
  1. Python爬虫利器二之Beautiful Soup的用法
		
    上一节我们介绍了正则表达式,它的内容其实还是蛮多的,如果一个正则匹配稍有差池,那可能程序就处在永久的循环之中,而且有的小伙伴们也对写正则表达式的写法用得不熟练,没关系,我们还有一个更强大的工具,叫Be ...
    
		
    2. 
						
  2. python爬虫知识点详解
		
    python爬虫知识点总结(一)库的安装 python爬虫知识点总结(二)爬虫的基本原理 python爬虫知识点总结(三)urllib库详解 python爬虫知识点总结(四)Requests库的基本使 ...
    
		
    3. 
						
  3. 2.Python爬虫入门二之爬虫基础了解
		
    1.什么是爬虫 爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来.想抓取什么?这个由你来控制它咯. ...
    
		
    4. 
						
  4. Python爬虫实战二之爬取百度贴吧帖子
		
    大家好,上次我们实验了爬取了糗事百科的段子,那么这次我们来尝试一下爬取百度贴吧的帖子.与上一篇不同的是,这次我们需要用到文件的相关操作. 前言 亲爱的们,教程比较旧了,百度贴吧页面可能改版,可能代码不 ...
    
		
    5. 
						
  5. Python爬虫入门二之爬虫基础了解
		
    1.什么是爬虫 爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来.想抓取什么?这个由你来控制它咯. ...
    
		
    6. 
						
  6. 转 Python爬虫实战二之爬取百度贴吧帖子
		
    静觅 » Python爬虫实战二之爬取百度贴吧帖子 大家好,上次我们实验了爬取了糗事百科的段子,那么这次我们来尝试一下爬取百度贴吧的帖子.与上一篇不同的是,这次我们需要用到文件的相关操作. 本篇目标  ...
    
		
    7. 
						
  7. 转 Python爬虫入门二之爬虫基础了解
		
    静觅 » Python爬虫入门二之爬虫基础了解 2.浏览网页的过程 在用户浏览网页的过程中,我们可能会看到许多好看的图片,比如 http://image.baidu.com/ ,我们会看到几张的图片以 ...
    
		
    8. 
						
  8. Python 爬虫入门(二)——爬取妹子图
		
    Python 爬虫入门 听说你写代码没动力?本文就给你动力,爬取妹子图.如果这也没动力那就没救了. GitHub 地址: https://github.com/injetlee/Python/blob ...
    
		
    9. 
						
  9. python 爬虫（二）
		
    python 爬虫 Advanced HTML Parsing 1. 通过属性查找标签:基本上在每一个网站上都有stylesheets,针对于不同的标签会有不同的css类于之向对应在我们看到的标签可能 ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. DOM操作整理
			
    DOM获取 1. 直接获取 document.getElementById("box_id") 通过ID获取 document.getElementsByName("my ...
    
			
    2. 
						
  2. Unity3D中通过Animator动画状态机获取任意animation clip的准确播放持续时长
			
    Unity3d 4及之前的版本中动画的播放用的animation,可直接获取其播放持续长度.但5.x及以后的版本中都是用animator来播放动画了. https://docs.unity3d.com ...
    
			
    3. 
						
  3. weex加入iconfont
			
    weex加入图标可能是项目开发中最头疼的事情了,还好有 阿里巴巴矢量图标库解决了开发时的图标问题,下面我们一起来踩坑吧<text class="left"></ ...
    
			
    4. 
						
  4. 【JDK1.8】JDK1.8集合源码阅读——ArrayList
			
    一.前言 在前面几篇,我们已经学习了常见了Map,下面开始阅读实现Collection接口的常见的实现类.在有了之前源码的铺垫之后,我们后面的阅读之路将会变得简单很多,因为很多Collection的结 ...
    
			
    5. 
						
  5. 在Docker中运行asp.net core 跨平台应用程序
			
    概述 Docker已经热了有一两年了,而且我相信这不是一个昙花一现的技术,而是一个将深远影响我们日后开发和部署.运营应用系统的一种创新(很多人将其作为devops的一种非常重要的基石).学习docke ...
    
			
    6. 
						
  6. RUP 方法简介
			
    1.什么是RUP: Rational Unified Process(以下简称RUP) 是一套软件工程方法,主要由 Ivar Jacobson的 The Objectory Approch 和 The ...
    
			
    7. 
						
  7. Mybatis（基于SqlSessionTemplate的实现） + Spring 练习实战
			
    mybatis学习篇:上次使用映射接口实现Mybatis,有不方便指出就是需要接口,且需要保证接口上不能存在其他的代理.这次通过SqlSessionTemplate基于模板类实现Mybatis,总的来 ...
    
			
    8. 
						
  8. dubbo2.5.6从下载到编译成功并且部署成功过程
			
    本文基于dubbo2.5.6版本 原文链接:http://www.cnblogs.com/zhuwenjoyce/       1,下载dubbo 首先从 github 下载源代码并阅读 readme ...
    
			
    9. 
						
  9. .NET+Ajax+ashx 实现Echarts图表动态交互
			
    前言: 使用Echarts展示图表效果,在这里只做了四种案例:折线.柱状.圆形.雷达.当初是一位朋友用到Echarts展示数据,他没有太多时间弄,所以我就帮他搞出来,当初刚接触的时候也是一头雾水,不知 ...
    
			
    10. 
						
  10. Flink升级到1.4版本遇到的坑
			
    Flink 1.4没出来以前,一直使用Flink 1.3.2,感觉还算稳定,最近将运行环境升级到1.4,遇到了一些坑: 1.需要将可运行程序,基于1.4.0重新编译一次 2.对比了一下flink-co ...
    
			
    11.