1.概念、工具和HTTP

  1. 什么是爬虫

    • 模拟客户端发送网络请求,获取响应,按照规则提取数据
  2. 爬虫的数据去哪了
    • 展示到网页上(百度新闻,今日头条)
    • 进行分析,从数据中寻找规律(指数网站:百度指数)
  3. 需要的软件和环境
    • python3
    • pycharm编辑器
    • chrome浏览器-分析网络请求
  4. 浏览器的请求
    • url:检查→network
    • 浏览器请求url地址 
    • 爬虫请求url地址   
  5. HTTP和HTTPS
    • 超文本传输协议:客户端和服务端约定
    • HTTPS:HTTP+SSL(安全套接字层)--更安全一点
    • HTTP协议之请求
      • 请求行
      • 请求头
        • USER-AGENT:服务器据此判断访问的是什么浏览器,
        • Cookie:用来存储用户信息,每次请求会携带上发送给对方
      • 请求体  
    • get:没有请求体,把数据放在url中
    • post:登录注册,可以携带比get多很多的信息                      

2.requests模块的学习

  1. 安装

    • pip install requests
  2. 发送get,post请求,获取响应
    • response = requests.get(url) 
    • response = requests.post(url,data={请求体的字典}) 
    • ②response.text:如果出现乱码,在前面加一行response.encoding = "utf-8"
    • ①response.content.decode("utf-8") -----解码或者改成gbk解码   
  3. 发送带header的请求
    • headers = {"User-Agent":"xxx","Referer":"xxx",}
    • response = requests.post(url,data={请求体的字典},headers= headers) 
    • response = requests.get(url,headers= headers)
    • response.request.url
    • response.request.headers
    • response = requests.post(url,data={请求体的字典},headers= headers,timeout=3)---需要加异常捕获 
  4. retrying模块学习----重试
    • pip install retrying----安装
    • from retrying import retry
    • @retry(stop_max_attempt_number=3)-------装饰器,执行几次   
  5. cookie相关的请求 
    • cookie放在headers里面
    • cookie存成字典,用requests.get(url,cookies=cookie_dict)
    • 先发送post请求,获取cookie,带上cookie请求页面(会话维持 )

      • session = requests.session()
      • session.post(url,data,headers)
      • session.get(url,headers)         

3.数据的提取方法

  1. json--数据交换格式
      import   json
    • json.loads(json字符串):json转str
    • json.dumps(python字典):str转json字符串(文件写入)
    • json.dumps(ret,ensure_ascII=False):数据直接显示中文,不再以ASCII码方式显示
  2. 主要逻辑
    1. start_url
    2. 发送请求,获得响应
    3. 提取数据
    4. 保存
    5. 构造下一页url地址,循环2-5步
  3. Xpath:提取数据
    • /html/a:选择标签
    • //:任意节点开始
    • //div[@class="xxx"]:选择某个值
    • a/@class:选择class的值
    • a/text():获取a下的文本
    • a//text():获取a下的所有文本
  4. lxml
    • pip install lxml
    • from lxml import etree
    • element = etree.HTML("html字符串")
    • element.xpath("")            

<爬虫>相关的知识的更多相关文章

  1. .NET同步与异步之相关背景知识(六)

    在之前的五篇随笔中,已经介绍了.NET 类库中实现并行的常见方式及其基本用法,当然.这些基本用法远远不能覆盖所有,也只能作为一个引子出现在这里.以下是前五篇随笔的目录: .NET 同步与异步之封装成T ...

  2. Spring Framework------>version4.3.5.RELAESE----->Reference Documentation学习心得----->Spring Framework中web相关的知识(概述)

    Spring Framework中web相关的知识 1.概述: 参考资料:官网documentation中第22小节内容 关于spring web mvc:  spring framework中拥有自 ...

  3. iOS蓝牙开发(二)蓝牙相关基础知识

    原文链接: http://liuyanwei.jumppo.com/2015/07/17/ios-BLE-1.html iOS蓝牙开发(一)蓝牙相关基础知识: 蓝牙常见名称和缩写 MFI ====== ...

  4. 【Python爬虫】入门知识

    爬虫基本知识 这阵子需要用爬虫做点事情,于是系统的学习了一下python爬虫,觉得还挺有意思的,比我想象中的能干更多的事情,这里记录下学习的经历. 网上有关爬虫的资料特别多,写的都挺复杂的,我这里不打 ...

  5. iOS网络相关零散知识总结

    iOS网络相关零散知识总结 1. URL和HTTP知识 (1) URL的全称是Uniform Resource Locator(统一资源定位符). URL的基本格式 = 协议://主机地址/路径   ...

  6. 深入理解mysql之BDB系列(1)---BDB相关基础知识

        深入理解mysql之BDB系列(1) ---BDB相关基础知识 作者:杨万富   一:BDB体系结构 1.1.BDB体系结构 BDB总体的体系结构如图1.1所看到的,包括五个子系统(见图1.1 ...

  7. 【RAC】RAC相关基础知识

    [RAC]RAC相关基础知识 1.CRS简介    从Oracle 10G开始,oracle引进一套完整的集群管理解决方案—-Cluster-Ready Services,它包括集群连通性.消息和锁. ...

  8. Linux实战教学笔记19:Linux相关网络知识梳理

    第十九节 Linux相关网络知识梳理 标签(空格分隔): Linux实战教学笔记-陈思齐 一,前言 一个运维有时也要和网络打交道,所以具备最基本的网络知识,对一个运维人员来说是必要的.但,对于我们的工 ...

  9. Mac os 下 python爬虫相关的库和软件的安装

      由于最近正在放暑假,所以就自己开始学习python中有关爬虫的技术,因为发现其中需要安装许多库与软件所以就在这里记录一下以避免大家在安装时遇到一些不必要的坑. 一. 相关软件的安装:   1. h ...

随机推荐

  1. linux 服务器内存占用统计

    当前内存占用率的计算,是根据top命令显示的Mem.used除以Mem.total得到. Mem.total:表示总物理内存. Mem.used: 表示内核控制的内存数,除了应用程序使用的内存外,还包 ...

  2. 【题解】sweet

    题目描述 为了防止糖果被小猫偷吃,John把他的糖果放在了很多的高台上,一个高台可以认为是一段平行于X轴的线段,并且高台的y坐标都是大于0的,每个高台都有左端点和高台的长度,每个高台都有糖果.所有的高 ...

  3. 关于软件IntelliJ IDEA的使用技巧(二)

    二,IntelliJ IDEA的工具栏介绍 2,IntelliJ IDEA菜单栏 (5)code编码 ✌1.Override Methods:覆盖方法 ✌2.Implement Methods:实现方 ...

  4. 25-python基础-python3-集合(set)常用操作

    sets 支持 x in set, len(set),和 for x in set.作为一个无序的集合,sets不记录元素位置或者插入点.因此,sets不支持 indexing, slicing, 或 ...

  5. CF914D

    CF914D 用线段树乱搞一下就行qwq #include<iostream> #include<cstring> #include<cstdio> #includ ...

  6. Codeforces #250 (Div. 2) B. The Child and Set

    版权声明:本文为博主原创文章,未经博主同意不得转载. https://blog.csdn.net/u011639256/article/details/28100041 题读错了啊... 一直跪,但刚 ...

  7. su 和 su - 命令有何不同

    su命令和su -命令最大的本质区别就是:前者只是切换了root身份,但Shell环境仍然是普通用户的Shell:而后者连用户和Shell环境一起切换成root身份了.只有切换了Shell环境才不会出 ...

  8. 2019-8-31-gif-格式

    title author date CreateTime categories gif 格式 lindexi 2019-08-31 16:55:59 +0800 2018-2-13 17:23:3 + ...

  9. shell变量替换扩展 字符串计数截取

  10. vue 点击切换图标

    <div @click="showImg" class="showSearch"> <img class="header_img&q ...