作业来源: "https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2851" **

1.简述爬虫原理

通用爬虫

即(搜索引擎)，通过各站点主动提交域名等信息，或与DNS服务商合作，爬取大部分站点信息

聚焦爬虫

通过模拟用户(即客户端浏览器)访问服务器的行为，从而达到欺骗服务器，获取数据。

2.理解（聚焦）爬虫开发过程

  1. 发起请求

    向目标服务器发送一个伪造的请求报文

  2. 获取响应

    得到服务器响应的数据

  3. 解析内容

    将得到的数据按一定方式解析

  4. 保存数据

    将解析后的数据收录入文本文件或数据库

    浏览器工作原理:

    向服务端发送请求报文，收到响应报文后解析其中数据，缓存部分数据。

    抓取网站

    使用第三方库requests

    url = "http://news.gzcc.cn/html/xiaoyuanxinwen";
    ​
    def use_requests(url):
        '''
            使用到了第三方库requests获取响应
        '''
        response = requests.get(url);
        response.encoding = "utf-8";
        return response;

    运行结果

使用python自带库 urllib

def use_urllib(url):
    '''
            使用到了自带urllib获取响应
    '''
    response = request.urlopen(url);
    return response;
​

一个简单的html

<!DOCTYPE html>
<html>
<head>
    <meta charset="UTF-8">
    <title>这是一个简单的网页</title>
    <!--简单的样式定义-->
    <style>
        .class1 {
            background: green;
        }
        .ckass2 {
            background: yellow;
        }
    </style>
</head>
<body>
    <div class="class1">
        <strong id="strong">这是一个粗体标签</strong><br/>
        <b id="b">这依旧是一个粗体标签</b><br/>
        <big id="big">这貌似也是一个粗体标签</big><br/>
    </div>
    <div class="ckass2">
        <del id="del">这是一个删除线</del><br/>
        <s id="s">这也是一个删除线</s><br/>
        <strike id="strike">这同样是一个删除线</strike><br/>
    </div>
</body>
</html>

使用BeautifulSoup解析网页

from bs4 import BeautifulSoup
​
with open(r'simple.html','r',encoding='utf-8') as f:
    text = f.read()
dom_tree = BeautifulSoup(text, 'html.parser');
​
from_label = dom_tree.select('strong')[0].text;
from_class = dom_tree.select('.class1')[0].text;
from_id = dom_tree.select('#strong')[0].text;
​
print(from_label, from_class, from_id);

提取新闻

    dom_tree = BeautifulSoup(use_requests("http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0320/11029.html").text, 
                             'html.parser');
    title_from_class = dom_tree.select(".show-title")[0].text;
    print(title_from_class);
​
    infos_from_class = dom_tree.select(".show-info")[0].text;
    list = infos_from_class.split()[0:-1];
    for i in list:
        print(i);

python学习之爬虫初体验的更多相关文章

  1. appium+夜神模拟器+python安卓app爬虫初体验

    环境搭建:Windows 7 64bit jdk包:jdk-8u171-windows-x64.exe(http://www.oracle.com/technetwork/java/javase/do ...

  2. Node.js 网页瘸腿爬虫初体验

    延续上一篇,想把自己博客的文档标题利用Node.js的request全提取出来,于是有了下面的初哥爬虫,水平有限,这只爬虫目前还有点瘸腿,请看官你指正了. // 内置http模块,提供了http服务器 ...

  3. 第三次随笔--安装虚拟机及学习linux系统初体验

    第三次随笔--安装虚拟机及学习linux系统初体验 ·学习基于VirtualBox虚拟机安装Ubuntu图文教程在自己笔记本上安装Linux操作系统 首先按照老师的提示步骤进行VirtualBox虚拟 ...

  4. Python学习网络爬虫--转

    原文地址:https://github.com/lining0806/PythonSpiderNotes Python学习网络爬虫主要分3个大的版块:抓取,分析,存储 另外,比较常用的爬虫框架Scra ...

  5. 【Go 入门学习】第一篇关于 Go 的博客--Go 爬虫初体验

    一.写在前面 其实早就该写这一篇博客了,为什么一直没有写呢?还不是因为忙不过来(实际上只是因为太懒了).不过好了,现在终于要开始写这一篇博客了.在看这篇博客之前,可能需要你对 Go 这门语言有些基本的 ...

  6. 【Python3爬虫】学习分布式爬虫第一步--Redis分布式爬虫初体验

    一.写在前面 之前写的爬虫都是单机爬虫,还没有尝试过分布式爬虫,这次就是一个分布式爬虫的初体验.所谓分布式爬虫,就是要用多台电脑同时爬取数据,相比于单机爬虫,分布式爬虫的爬取速度更快,也能更好地应对I ...

  7. 【Python3爬虫】爬取美女图新姿势--Redis分布式爬虫初体验

    一.写在前面 之前写的爬虫都是单机爬虫,还没有尝试过分布式爬虫,这次就是一个分布式爬虫的初体验.所谓分布式爬虫,就是要用多台电脑同时爬取数据,相比于单机爬虫,分布式爬虫的爬取速度更快,也能更好地应对I ...

  8. 算法学习：并行化初体验_JAVA实现并行化归并算法

    这个系列包括算法导论学习过程的记录. 最初学习归并算法,对不会使其具体跑在不同的核上报有深深地怨念,刚好算倒重温了这个算法,闲来无事,利用java的thread来体验一下并行归并算法.理论上开的thr ...

  9. Spring Boot 学习笔记1——初体验之3分钟启动你的Web应用[z]

    前言 早在去年就简单的使用了一下Spring Boot,当时就被其便捷的功能所震惊.但是那是也没有深入的研究,随着其在业界被应用的越来越广泛,因此决定好好地深入学习一下,将自己的学习心得在此记录,本文 ...

随机推荐

  1. __x__(5)0905第二天__网页三大组成部分

    根据 W3C 标准,将网页主要分成 3 个部分:结构,表现,行为. 结构: HTML 用于描述页面结构. 表现: CSS 用于控制页面中元素的样式. 行为: JavaScript 用于响应用户操作.

  2. ICL2019E

    https://www.codechef.com/ICL2019/problems/ICL1906  两个整数,[0,1e5]操作1是让两个数同时减1(只有都大于0的时候才可以用)操作2可以让一个数乘 ...

  3. nginx + rtmp 搭建流媒体服务器

    一.安装nginx服务器 1.路径说明: 路径:/usr/local/src 2.下载nginx-rtmp-module (我这里的目录是在/usr/local/src/下面) cd /usr/loc ...

  4. python基础3 条件判断 if嵌套

    if单向判断: stonenumber=6#为宝石数量赋值 if stonenumber>=6: #条件:如果你拥有的宝石数量大于等于6个 print('你拥有了毁灭宇宙的力量') #结果:显示 ...

  5. Create-React-App创建antd-mobile开发环境

    Facebook 官方推出Create-React-App脚手架,基本可以零配置搭建基于webpack的React开发环境,内置了热更新等功能. 详细文档可前往链接:Create-React-App文 ...

  6. [ionic3.x开发记录]ios下页面过渡效果不出现的小坑

    如果内容没有被<ion-content></ion-content>或者<ion-header></ion-header>标签包裹,页面过渡的时候是没有 ...

  7. centos7开启80和8080端口

    开启8080端口 firewall-cmd --permanent --add-port=8080/tcp firewall-cmd --reload 重定向80端口到8080端口firewall-c ...

  8. 如何让外网访问自己的本地Web服务

    目前很多网站开发者安装了IIS或者Apache等Web服务器,可以把自己电脑配置成一以路由为中心的内网服务器. 本地服务器在内网测试是绰绰有余的,但是有些项目需要演示给异地的客户验收,而又赶不及把自己 ...

  9. 简单了解request与response

    本文对 request. response 简单描述,未涉及到具体的浏览器缓存.重定向.请求转发等代码部分. 一.Web服务器,浏览器,代理服务器 在看 response.request 对象之前,先 ...

  10. SharePoint 已在此服务器场中安装 ID 为 XXXXXXXXX 的功能。请使用强制属性显式地重新安装此功能。解决方法

    图1: 图2: 解决方法: stsadm -o deploysolution -name ***.wsp -immediate -allowGacDeployment -url http://*** ...