一文了解 io.LimitedReader类型
1. 引言
io.LimitedReader 提供了一个有限的读取功能,能够手动设置最多从数据源最多读取的字节数。本文我们将从 io.LimitedReader 的基本定义出发,讲述其基本使用和实现原理,其次,再简单讲述下具体的使用场景,基于此来完成对io.LimitedReader 的介绍。
2. 基本说明
2.1 基本定义
io.LimitedReader 是Go语言提供的一个Reader类型,其包装了了一个io.Reader 接口,提供了一种有限的读取功能。io.LimitedReader的基本定义如下:
type LimitedReader struct {
R Reader // underlying reader
N int64 // max bytes remaining
}
func (l *LimitedReader) Read(p []byte) (n int, err error) {}
LimitedReader结构体中包含了两个字段,其中R 为底层Reader, 数据都是从Reader 当中读取的,而 N 则代表了剩余最多可以读取的字节数。同时也提供了一个Read 方法,通过该方法来实现对数据进行读取,在读取过程中 N 的值会不断减小。
通过使用io.LimitedReader, 我们可以控制从底层读取器读取的字节数,避免读取到不应该读取的数据,这个在某些场景下非常有用。
同时Go语言还提供了一个函数,能够使用该函数,创建出一个io.LimitedReader 实例,函数定义如下:
func LimitReader(r Reader, n int64) Reader { return &LimitedReader{r, n} }
我们可以通过该函数创建出一个LimitedReader 实例,也能够提升代码的可读性。
2.2 使用示例
下面我们展示如何使用io.LimitedReader 限制读取的字节数,代码示例如下:
package main
import (
"fmt"
"io"
"strings"
)
func main() {
// 创建一个字符串作为底层读取器
reader := strings.NewReader("Hello, World!")
// 创建一个LimitedReader,限制最多读取5个字节
limitReader := io.LimitReader(reader, 5)
// 使用LimitedReader进行读取操作
buffer := make([]byte, 10)
n, err := limitReader.Read(buffer)
if err != nil && err != io.EOF {
fmt.Println("读取错误:", err)
return
}
fmt.Println("读取的字节数:", n)
fmt.Println("读取的内容:", string(buffer[:n]))
}
在上面示例中,我们使用字符串创建了一个底层Reader,然后基于该底层Reader创建了一个io.LimitedReader,同时限制了最多读取5个字节。然后调用 limitReader 的 Read 方法读取数据,此时将会读取数据放到缓冲区当中,程序将读取到的字节数和内容打印出来。函数运行结果如下:
读取的字节数: 5
读取的内容: Hello
这里读取到的字节数为5,同时也只返回了前5个字符。通过这个示例,我们展示了使用io.LimitedReader 限制从底层数据源读取数据数的方法,其实只需要使用io.LimitedReader对源Reader 进行包装,同时声明最多读取的字节数即可。
3. 实现原理
在了解了io.LimitedReader的基本定义和使用后,下面我们来对io.LimitedReader的实现原理进行基本说明,通过了解其实现原理,能够帮助我们更好得理解和使用io.LimitedReader。
io.LimitedReader 的实现比较简单,我们直接看其代码的实现:
func (l *LimitedReader) Read(p []byte) (n int, err error) {
// N 代表剩余可读数据长度,如果小于等于0,此时直接返回EOF
if l.N <= 0 {
return 0, EOF
}
// 传入切片长度 大于 N, 此时通过 p = p[0:l.N] 修改切片长度,保证切片长度不大于 N
if int64(len(p)) > l.N {
p = p[0:l.N]
}
// 调用Read方法读取数据,Read方法最多读取 len(p) 字节的数据
n, err = l.R.Read(p)
// 修改 N 的值
l.N -= int64(n)
return
}
其实io.LimitedReader的实现还是比较简单的,首先,它维护了一个剩余可读字节数N,也就是LimitedReader 中的N 属性,该值最开始是由用户设置的,之后在不断读取的过程 N 不断递减,直到最后变小为0。
然后LimitedReader 中读取数据,与其他Reader 一样,需要用户传入一个字节切片参数p ,为了避免读取超过剩余可读字节数 N 的字节数,此时会比较len(p) 和 N 的值,如果切片长度大于N,此时会使用p = p[0:l.N] 修改切片的长度,通过这种方式,保证最多只会读取到N 字节的数据。
4. 使用场景
当我们需要限制从数据源读取到的字节数时,亦或者在某些场景下,我们只需要读取数据的前几个字节或者特定长度的数据,此时使用io.LimitedReader 来实现比较简单方便。
一个经典的例子,其实是net/http 库解析HTTP请求时对io.LimitedReader的使用,通过其限制了读取的字节数。
当客户端发送HTTP请求时,可以设置头部字段 Content-Length 字段的值,通过该字段声明请求体的长度,服务端就可以根据Content-Length 头部字段的值,确定请求体的长度。服务端在读取请求体数据时,不能读取超过Content-Length 长度的数据,因为后面的数据可能是下一个请求的数据,这里通过io.LimitedReader 来确保不会读取超出Content-Length 指定长度的字节数是非常合适的,而当前net/http 库的实现也确实如此。下面是其中设置请求体的相关代码:
// 根据不同的编码类型来对 t.Body 进行设置
switch {
// 分块编码
case t.Chunked:
// 忽略
case realLength == 0:
t.Body = NoBody
// content-length 编码方式
case realLength > 0:
t.Body = &body{src: io.LimitReader(r, realLength), closing: t.Close}
default:
// realLength < 0, i.e. "Content-Length" not mentioned in header
// 忽略
}
这里realLength 便是通过Content-length 头部字段来获取的,能够取到值,此时便通过io.LimitedReader 来限制HTTP请求体数据的读取。
后续执行真正的业务流程时,此时直接调用t.Body 中 Read 方法读取数据即可,不需要操心读取到下一个请求体的数据,非常方便。
5. 总结
io.LimitedReader 是Go语言标准库提供的一个结构体类型,能够限制从数据源读取到的字节数。 我们先从io.LimitedReader的基本定义出发,之后通过一个简单的示例,展示如何使用io.LimitedReader 来实现读取数据数的限制。
接着我们讲述了io.LimitedReader函数的实现原理,通过对这部分内容的讲述,加深了我们对其的理解。最后我们简单讲述了io.LimitedReader 的使用场景,当我们需要限制从数据源读取到的字节数时,亦或者在某些场景下,我们只需要读取数据的前几个字节或者特定长度的数据时,使用io.LimitedReader 是非常合适的。
基于此,完成了对io.LimitedReader 的介绍,希望对你有所帮助。
一文了解 io.LimitedReader类型的更多相关文章
- java通过文件头来判断文件类型
import java.io.FileInputStream; import java.io.IOException; import java.util.HashMap; import java.ut ...
- php 读取文件头判断文件类型的实现代码
php代码实现读取文件头判断文件类型,支持图片.rar.exe等后缀. 例子: <?php $filename = "11.jpg"; //为图片的路径可以用d:/uploa ...
- php通过文件头检测文件类型通用类(zip,rar…)(转)
在做web应用时候,通过web扩展名判断上存文件类型,这个是我们常使用的.有时候我们这样做还不完善.可能有些人上存一些文件,但是他通过修改 扩展名,让在我们的文件类型之内. 单实际访问时候又不能展示( ...
- MVC开发中的常见错误-07-“System.IO.DirectoryNotFoundException”类型的未经处理的异常在 mscorlib.dll 中发生
“System.IO.DirectoryNotFoundException”类型的未经处理的异常在 mscorlib.dll 中发生 其他信息: 未能找到路径“F:\Users\home\Docume ...
- WPF:将Office文档、任意类型文件嵌入到EXE可执行文件中
原文:WPF:将Office文档.任意类型文件嵌入到EXE可执行文件中 版权声明:本文为博主原创文章,未经博主允许可以随意转载 https://blog.csdn.net/songqingwei198 ...
- Django文档——Model字段类型(Field Types)
大部分内容参考自http://wrongwaycn.github.io/django11/topics/db/models/index.html#topics-db-models ,内容是django ...
- sharepoint 2010 如何创建文档库内容类型content type
转:http://biancheng.dnbcw.info/linux/441643.html 这次主要是记录下,如何来创建文档内容类型,例如新建文档的时候,可以选择不同模板,有word,excel文 ...
- 【转】python通过文件头判断文件类型
刚刚看到一个好玩的程序,拉过来.原文地址:https://www.ttlsa.com/python/determine-file-type-by-the-file-header/ 侵权删. ===== ...
- FPGA之IO信号类型深入理解
在FPGA设计开发中,很多场合会遇到同一根信号既可以是输入信号,又可以是输出信号,即IO类型(Verilog定义成inout). 对于inout型的信号,我们既可以使用FPGA原语来实现,也可以使用V ...
- “System.IO.FileNotFoundException”类型的未经处理的异常在 mscorlib.dll 中发生
这个错误是我在打包的时候.发现的,由于我移动了我的project的位置(从C盘移动到了D盘),看一下出错的代码: Dim strDB As String = System.Configuration. ...
随机推荐
- ResNet50的猫狗分类训练及预测
相比于之前写的ResNet18,下面的ResNet50写得更加工程化一点,这还适用与其他分类. 我的代码文件结构 1. 数据处理 首先已经对数据做好了分类 文件夹结构是这样 开始划分数据集 split ...
- CS144 计算机网络 Lab1:Stream Reassembler
前言 上一篇博客中我们完成了 Lab0,使用双端队列实现了一个字节流类 ByteStream,可以向字节流中写入数据并按写入顺序读出数据.由于网络环境的变化,发送端滑动窗口内的数据包到达接收端时可能失 ...
- 机器学习(七):梯度下降解决分类问题——perceptron感知机算法与SVM支持向量机算法进行二维点分类
实验2 感知机算法与支持向量机算法 一.预备知识 1.感知机算法 二.实验目的 掌握感知机算法的原理及设计: 掌握利用感知机算法解决分类问题. 三.实验内容 设计感知机算法求解, 设计SVM算法求解( ...
- Python-tomorrow应用于UI自动化的简单使用
一.简介 tomorrow属于第三方的一个模块,使用threads方法作为装饰器去修饰一个普通的函数,使其可以达到并发效果.使用起来非常简单. 二.安装 pip install tomorrow 使用 ...
- 2020-11-28:go中,map的写流程是什么?
福哥答案2020-11-28: 源码位于runtime/map.go文件中的mapassign函数. info["name"]="福大大" bilibili视频 ...
- 2021-05-17:数组中所有数都异或起来的结果,叫做异或和。给定一个数组arr,可以任意切分成若干个不相交的子数组。其中一定存在一种最优方案,使得切出异或和为0的子数组最多。返回这个最多数量。
2021-05-17:数组中所有数都异或起来的结果,叫做异或和.给定一个数组arr,可以任意切分成若干个不相交的子数组.其中一定存在一种最优方案,使得切出异或和为0的子数组最多.返回这个最多数量. 福 ...
- 使用 MRKL 系统跨越神经符号鸿沟
本文展示了自然语言处理的下一步发展--模块化推理.知识和语言( the Modular Reasoning, Knowledge and Language,简称为MRKL)系统以及LangChain和 ...
- Git开发、发布、缺陷分离模型概述(支持master/develop/feature/release/hotfix类型分支)
Git是什么? Git是一种分布式版本控制系统,它可以记录文件的修改历史和版本变化,并可以支持多人协同开发.Git最初是由Linux开发者Linus Torvalds创建的,它具有高效.灵活.稳定等优 ...
- django @login_required
Django在做后台系统过程中,我们通常都会为view函数添加 @login_required 装饰器,这个装饰器的主要作用就是在用户访问这个方法时,检查用户是否已经成功登陆,如果没有则重定向到登陆页 ...
- Django报错No module named django.core.urlresolvers
当需要测试django能否解析网站根路径的URL,并将其对应到我们编写的某个视图函数上时,使用下面的语句 from django.core.urlresolvers import resolve 执行 ...