Python爬虫学习二------爬虫基本原理
爬虫是什么?爬虫其实就是获取网页的内容经过解析来获得有用数据并将数据存储到数据库中的程序。
基本步骤:
1.获取网页的内容,通过构造请求给服务器端,让服务器端认为是真正的浏览器在请求,于是返回响应。python有很多请求的库,像urllib,requests库等,个人比较喜欢requests库,很容易上手。
2.解析获得的数据,可以通过正则表达式,bs4,xpath等解析工具来获得自己想要的数据。
3.存到数据库,现在最流行的三大数据库,mysql,mongodb,redis都可以通过python相关的库来进行交互。
会话和Cookies?
什么是会话?什么是Cookies呢?这全都要怪罪于HTTP协议,因为HTTP协议是无状态的协议,因此前后两个请求它并不能够知道是不是同一个用户在发送请求,这就可能会导致重复的传递一些请求。这时候会话和Cookies就帮上大忙了。当用户在执行登录操作后,后端服务器会为该用户创建一个会话,会话中包含一个id来标识这个会话,用户的登录状态以及用户的信息,并且将这一标识id通过Set-Cookie字段返回给客户端,当客户端下一次请求需要登录才能查看的网页时,服务器就会检查客户端发过来的Cookie字段,如果能够通过Cookie字段找到用户相应的会话,就会进一步判断该用户的登录状态。通常网站都会有一个会话超时时间,如果会话过期了,就需要重新登录。
总结的说,会话是在服务器端存储的信息,而Cookie是在客户端存储的信息,会话的作用就是用来维持用户的登录状态。
代理
代理的基本原理是什么呢?代理实际上就是指代理服务器,当我们设置了代理服务器的时候,该代理服务器就成为了我们的服务器,而代理服务器本身也成为了客户端去向我们真正请求的服务器发送请求,当代理服务器获得响应后再将响应返回给我们本地的客户端,这样就成功的实现了隐藏我们本地ip的功能。
为什么要使用代理呢?一些网站在后端处理请求的时候会检测一段时间内同一个ip访问的次数,如果次数达到了一定的值,就会直接拒绝服务,也就是经常说的ip被封了。为了防止这种情况的发生,就需要强大的代理功能来隐藏我们的ip。在使用爬虫爬去数据的时候,如果我们能够不断的更换代理,就会让服务器迷失自己~
常见的代理设置:使用网上的免费代理或者使用付费的代理服务。
Python爬虫学习二------爬虫基本原理的更多相关文章
- Python基础学习二
Python基础学习二 1.编码 utf-8编码:自动将英文保存为1个字符,中文3个字符.ASCll编码被囊括在内. unicode:将所有字符保存为2给字符,容纳了世界上所有的编码. 2.字符串内置 ...
- python库学习笔记——爬虫常用的BeautifulSoup的介绍
1. 开启Beautiful Soup 之旅 在这里先分享官方文档链接,不过内容是有些多,也不够条理,在此本文章做一下整理方便大家参考. 官方文档 2. 创建 Beautiful Soup 对象 首先 ...
- Python爬虫学习(二) ——————爬取前程无忧招聘信息并写入excel
作为一名Pythoner,相信大家对Python的就业前景或多或少会有一些关注.索性我们就写一个爬虫去获取一些我们需要的信息,今天我们要爬取的是前程无忧!说干就干!进入到前程无忧的官网,输入关键字&q ...
- python爬虫学习(二):定向爬虫例子-->使用BeautifulSoup爬取"软科中国最好大学排名-生源质量排名2018",并把结果写进txt文件
在正式爬取之前,先做一个试验,看一下爬取的数据对象的类型是如何转换为列表的: 写一个html文档: x.html<html><head><title>This is ...
- Python 3 Anaconda 下爬虫学习与爬虫实践 (1)
环境python 3 anaconda pip 以及各种库 1.requests库的使用 主要是如何获得一个网页信息 重点是 r=requests.get("https://www.goog ...
- Python爬虫学习——1.爬虫入门
HTTP和HTTPS HTTP协议(HyperText Transfer Protocol,超文本传输协议):是一种发布和接收 HTML页面的方法. HTTPS(Hypertext Transfer ...
- Python 3 Anaconda 下爬虫学习与爬虫实践 (2)
下面研究如何让<html>内容更加“友好”的显示 之前略微接触的prettify能为显示增加换行符,提高可阅读性,用法如下: import requests from bs4 import ...
- day47-python爬虫学习二
2.Request的会话对象 s = requests.session() Python2 S = requests.Session() 所有一次会话的信息都保存在s中,只需要对s进行操作就可以了. ...
- python多线程学习二
本文希望达到的目标: 多线程同步原语:互斥锁 多线程队列queue 线程池threadpool 一.多线程同步原语:互斥锁 在多线程代码中,总有一些特定的函数或者代码块不应该被多个线程同时执行,通常包 ...
随机推荐
- Python 往Excel写数据
一.需求描述: 1.一张人员信息表中生成人员信息,某些列的字段要进行递增操作: 2.一个组织节点下存在1000人的限制要求: 3.一张Excel表格生成45000条数据: 二.Excel表格的表头如下 ...
- Java对象延迟初始化的实现
一.什么是延迟初始化? 在Java多线程程序中,有时候需要采用延迟初始化来降低初始化类和创建对象的开销. 延迟初始化实际上就是:当我们要进行一些高开销的对象初始化操作时,只有在使用这些对象时才进行初始 ...
- word2vector论文笔记
背景 很多当前的NLP系统和技术都把单词像ont-hot一样当做原子性的一个概念去对待,单纯就是一个索引,无法表示词之间的相似性.原因就是往往一个简单的.鲁棒的.可观测的模型在海量数据集上的学习效果要 ...
- [视频] FFMpeg 基本组成和入门示例
目录 FFmpeg基本组成 编解码工具 ffmpeg.exe ffmpeg.exe的工作流程 播放器 ffplay.exe 多媒体分析器 ffprobe FFmpeg基本组成 AVFormat 封装了 ...
- 51nod1459 带权最短路
1459 迷宫游戏 基准时间限制:1 秒 空间限制:131072 KB 分值: 0 难度:基础题 你来到一个迷宫前.该迷宫由若干个房间组成,每个房间都有一个得分,第一次进入这个房间,你就可以得到这个分 ...
- GitHub Classroom
GitHub Classroom GitHub Education https://classroom.github.com/classrooms https://classroom.github.c ...
- css infinite loop animation
css infinite loop animation @keyframes loop { 0% { transform: translateX(0%); } constructed styleshe ...
- ASCII Art
ASCII Art https://npms.io/search?q=ASCII art ASCII Art Text to ASCII Art Generator (TAAG) http://pat ...
- Flutter 1.5
Flutter 1.5 Flutter SDK https://flutter.dev/docs/get-started/install/windows Android SDK This instal ...
- 小程序 webview 自动打开新页面
小程序 webview 自动打开新页面 iframe 效果 https://nervjs.github.io/taro/docs/components/open/web-view.html 怎么阻止小 ...