今日内容概要

  • IP代理池的概念及使用

  • requests其他方法补充

  • Beautifulsoup模块

    避免你自己写正则表达式

  • 利用该模块爬取京东的商品信息

今日内容详细

IP代理池的概念及使用

1.有很多网站在防爬措施上面都加了封禁IP的措施

    一旦我的网站发现某一个IP在固定的时间内访问了很多次(一分钟访问了30次)，那么我会直接获取到该请求对应的主机IP地址，然后加入网站的黑名单

    刚请求来访问我的网站的时候我会先去黑名单中查看当前请求的IP在不在如果在直接拒绝

    如果不在才会进去下一个环节

针对上述IP封禁的情况，出现了IP代理池

    IP代理池里面有很多IP，你每次访问别人的网站的时候

    随机从池子里面有很多IP

具体使用

# 代理的网址获取有免费的也有收费的

import requests

proxies={'https':'123.163.117.55:9999',

    'https':'123.163.117.55:9999',

    'https':'123.163.117.55:9999',

}

respone=requests.get('https://www.12306.cn',

                     proxies=proxies)

print(respone.status_code)

超时设置

#超时设置

#两种超时:float or tuple

#timeout=0.1 #代表接收数据的超时时间

#timeout=(0.1,0.2)#0.1代表链接超时  0.2代表接收数据的超时时间

import requests

respone=requests.get('https://www.baidu.com',

                     timeout=0.0001)

异常处理

# 万能异常

try:

    # kasd

    l = [111,222]

    l[3]

except Exception as e:

    print(e)

发送文件

import requests

files={'file':open('a.txt','rb')}

respone=requests.post('http://httpbin.org/post',

                      files=files)

print(respone.status_code)

解析json

#解析json

import requests

response=requests.get('http://httpbin.org/get')

import json

res1=json.loads(response.text) #太麻烦

res2=response.json() #直接获取json数据

print(res1 == res2) #True

Beautiful Soup模块

Beautiful Soup会帮你节省数小时甚至数天的工作时间

# 安装 Beautiful Soup

pip install beautifulsoup4  # 这个4千万不要少了

# 解析器

	有四种 常用的两种

    html.parse  内置的不需要下载

    lxml		需要下载

    	pip3 install lxml

# 导入

from bs4 import BeautifulSoup

基本使用

from bs4 import BeautifulSoup

html_doc = """

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

from bs4 import BeautifulSoup

# 先将html页面内容传入BeautifulSoup 生成一个对象

soup = BeautifulSoup(html_doc, 'lxml')  # 具有容错功能

res = soup.prettify()  # 处理好缩进，结构化显示  美化

print(res)

爬取汽车之家新闻

1.爬取汽车之家的新闻数据

2.先查看汽车之家新闻加载规律

	默认会先展示一个ul

    	下面隐藏了三个ul

    最后有一个分页器

3.研究分页页码变化

	https://www.autohome.com.cn/news/1/#liststart

    https://www.autohome.com.cn/news/2/#liststart

    https://www.autohome.com.cn/news/3/#liststart

    https://www.autohome.com.cn/news/4/#liststart

4.访问新闻数据页 研究是否有一些简单的防爬措施

5.研究新闻数据都在哪个标签内

6.从标签内提取想要的新闻数据，并移除干扰项

# 代码

res = requests.get(url)  # 前期访问没有任何的小防爬措施

    # print(res.text)

    # 将爬取到的页面传入bs4类中生成对象

    soup = BeautifulSoup(res.text,'lxml')

# 查找新闻所在的标签 然后获取标签内想要的数据

    # 1.查找div标签

    div = soup.find(id='auto-channel-lazyload-article')  # 利用id查找标签

    # print(div)

    # 2.找ul标签

    ul = div.find(name='ul')  # 利用标签名查找标签  只拿第一个

    # ul_list=div.find_all(class_="article")   #找出下面所有类名为article的标签   class关键字所以需要加下划线区分

    # print(len(ul_list))

    # print('+++++++++++++++++++++++++++')

    # print(ul)

    # 3.找li标签

    # li = ul.find(name='li')  # 只会拿到第一个

    li_list = ul.find_all(name='li')  # 拿内部所有的li 并且组织成列表的形式

 # 4.从li中提取我们想要的数据

    """

    <li data-artidanchor="1038223">

    <a href="//www.autohome.com.cn/news/202009/1038223.html#pvareaid=102624">

    <div class="article-pic"><img src="//www2.autoimg.cn/newsdfs/g3/M01/B5/C1/120x90_0_autohomecar__ChsEkV9i0DiAKHchAAGGvdkeT_A835.jpg"/></div>

    <h3>主打年轻化市场 宝马128ti低伪谍照曝光</h3>

    <div class="article-bar">

    <span class="fn-left">30分钟前</span>

    <span class="fn-right">

    <em><i class="icon12 icon12-eye"></i>827</em>

    <em data-articleid="1038223" data-class="icon12 icon12-infor"><i class="icon12 icon12-infor"></i>0</em>

    </span>

    </div>

    <p>[汽车之家 海外谍照]  日前，宝马集团官方放出了一组宝马128ti的轻度伪装图，这款车已在纽博格林赛道完成了最后的测试，并将于11月在海外市场投放。...</p>

    </a>

    </li>

    """

    # for循环依次获取数据

    for li in li_list:

        # 1.先获取新闻的标题

        h3 = li.find(name='h3')

        # print(h3)

        # 优化 移除干扰项

        if h3:

            # 获取h3里面的文本

            news_title = h3.text

            # print(news_title)

        # 2.获取新闻链接

        a = li.find(name='a')

        # 移除干扰项

        if a:

            news_link = a.get('href')

            # print(news_link)

 # 3.获取图片链接

        img = li.find(name='img')

        if img:

            news_img = img.get('src')

            # print(news_img)

        # 4.获取新闻简介

        p = li.find(name='p')

        if p:

            news_info = p.text

            # print(news_info)

        res = """

        新闻标题:%s

        新闻链接:%s

        新闻图片:%s

        新闻简介:%s

        """%(h3,news_link,news_img,news_info)

        print(res)

更多操作方法

html_doc = """

<html><head><title>The Dormouse's story</title></head>

<body>

<p id="my p" class="title jason" username="jason">123<b id="bbb" class="boldest">The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_doc,'lxml')

# print(soup.a)  # 查找a标签 只会拿第一个

# print(soup.p.name)  # 获取标签名

# print(soup.p.attrs)  # 用字典的形式给你列举出标签所有的属性

# {'id': 'my p', 'class': ['title'], 'username': 'jason'}

print(soup.p.text)  # 获取p标签内部所有的文本

# string用的很少

# print(soup.p.string)  # 只有p下面有单独的文本的时候才能拿到

总结

1.查找标签非常的简单

	find()

    find_all()

"""

括号内常用的参数

	name		根据标签的名字查找标签

	id			根据标签的id查找标签

	class_      根据标签的class查找

"""

2.查找标签内部的文本

	标签对象.text

3.查找标签属性对应的值

	a标签的href属性对应的值

    	a.get('href')

    img标签的src属性对应的值

		img.get('src')

爬虫之Beautfulsoup模块及新闻爬取操作的更多相关文章

  1. python爬虫学习之使用BeautifulSoup库爬取开奖网站信息-模块化

    实例需求:运用python语言爬取http://kaijiang.zhcw.com/zhcw/html/ssq/list_1.html这个开奖网站所有的信息,并且保存为txt文件和excel文件. 实 ...

  2. 另类爬虫：从PDF文件中爬取表格数据

    简介   本文将展示一个稍微不一样点的爬虫.   以往我们的爬虫都是从网络上爬取数据,因为网页一般用HTML,CSS,JavaScript代码写成,因此,有大量成熟的技术来爬取网页中的各种数据.这次, ...

  3. Python爬虫教程-13-爬虫使用cookie爬取登录后的页面(人人网)（下）

    Python爬虫教程-13-爬虫使用cookie爬取登录后的页面(下) 自动使用cookie的方法,告别手动拷贝cookie http模块包含一些关于cookie的模块,通过他们我们可以自动的使用co ...

  4. python网络爬虫之解析网页的BeautifulSoup(爬取电影图片)[三]

    目录 前言 一.BeautifulSoup的基本语法 二.爬取网页图片 扩展学习 后记 前言 本章同样是解析一个网页的结构信息 在上章内容中(python网络爬虫之解析网页的正则表达式(爬取4k动漫图 ...

  5. scrapy中间件之下载中间件使用（网易新闻爬取）

    scrapy项目中的middlewarse.py中间件 爬虫中间件:目前先不介绍 下载中间件(需要在settings.py中开启) (1)请求处理函数:process_request(self, re ...

  6. scrapy爬虫框架教程（二）-- 爬取豆瓣电影TOP250

    scrapy爬虫框架教程(二)-- 爬取豆瓣电影TOP250 前言 经过上一篇教程我们已经大致了解了Scrapy的基本情况,并写了一个简单的小demo.这次我会以爬取豆瓣电影TOP250为例进一步为大 ...

  7. 爬虫系列4：Requests+Xpath 爬取动态数据

    爬虫系列4:Requests+Xpath 爬取动态数据 [抓取]:参考前文 爬虫系列1:https://www.cnblogs.com/yizhiamumu/p/9451093.html [分页]:参 ...

  8. 爬虫简单之二---使用进程爬取起点中文网的六万多也页小说的名字，作者，等一些基本信息，并存入csv中

    爬虫简单之二---使用进程爬取起点中文网的六万多也页小说的名字,作者,等一些基本信息,并存入csv中 准备使用的环境和库Python3.6 + requests + bs4 + csv + multi ...

  9. [Python爬虫] 使用 Beautiful Soup 4 快速爬取所需的网页信息

    [Python爬虫] 使用 Beautiful Soup 4 快速爬取所需的网页信息 2018-07-21 23:53:02 larger5 阅读数 4123更多 分类专栏: 网络爬虫   版权声明: ...

随机推荐

  1. Java枚举-通过值查找对应的枚举

    一.背景 Java 枚举是一个特殊的类,一般表示一组常量,比如一年的 4 个季节,一个年的 12 个月份,一个星期的 7 天,方向有东南西北等. 最近工作中,对接了很多其他的系统,发现对接的同一个系统 ...

  2. Spring源码-IOC部分-Bean实例化过程【5】

    实验环境:spring-framework-5.0.2.jdk8.gradle4.3.1 Spring源码-IOC部分-容器简介[1] Spring源码-IOC部分-容器初始化过程[2] Spring ...

  3. ApacheCN Java 译文集 20211012 更新

    Effective Java 中文第三版 1. 考虑使用静态工厂方法替代构造方法 2. 当构造方法参数过多时使用 builder 模式 3. 使用私有构造方法或枚类实现 Singleton 属性 4. ...

  4. 关于mysql，需要掌握的基础（一）：CRUD、存储引擎、单表查询相关、多表查询join、事务并发、权限管理等等

    目录 关于mysql,需要掌握的基础(一): 1.了解数据库sql.数据库系统.数据库管理系统的概念. 2.了解DDL.DML.DQL语句是什么? 3.了解存储引擎.存储引擎[InnoDB 和 MyI ...

  5. 分布式事务框架-Litx补偿事务框架源码解析

    前言 之前某段时间在研究分布式事务过程中,对实现原理比较好奇,于是去Gitee上找了几个人气比较高的框架进行学习,其中印象深刻的有Litx,因为Litx源码不多,且都是基于Spring和Dubbo底层 ...

  6. 腾讯QQ是用什么语言写的？

    腾讯QQ的开发分客户端软件和服务器端软件两部分. 客户端采用 Microsoft Visual C++开发:  服务器端软件采用Linux gcc开发 :  数据库采用MySql 数据库.  腾讯QQ ...

  7. JSP页面重定向与页面内容转发

    重定向:属于两次请求+响应,客户端浏览器地址栏会改变. 转发:属于一次请求+一次响应,客户端浏览器地址栏不会改变. 重定向: response.setHeader("action" ...

  8. java常用类，包装类，String类的理解和创建对象以及StringBuilder和StringBuffer之间的区别联系

    一.包装类的分类: 1.黄色部分的父类为Number 继承关系: Boolean Character 其他六个基本数据类型 2.装箱和拆箱 理解:一个例子,其他的都相同 装箱:Integer inte ...

  9. pycharm工具使用

    转自: https://blog.csdn.net/u014044812/article/details/78727496   因公司的需求,需要做一个爬取最近上映的电影.列车号.航班号.机场.车站等 ...

  10. python基础语法_7运算符

    http://www.runoob.com/python3/python3-basic-operators.html#ysf7 目录 Python语言支持以下8类型的运算符: 算术运算符(-,+,*, ...