Go IO && bufio
IO
- IO包 是对数据流的操作。从哪里来, 怎么处理,再到哪里去。
图片来源 https://medium.com/learning-the-go-programming-language/streaming-io-in-go-d93507931185
- IO包 对数据的读写 是通过接口的形式约定的。数据的来源或者去向可能是 网络,内存,文件。
type Reader interface {
Read(p []byte) (n int, err error)
}
type Writer interface {
Write(p []byte) (n int, err error)
}
- 应用层 只需要按照接口去调用接口 不用关心底层实现细节 非常方便
package main
import (
"io"
"net/http"
"os"
"strings"
)
type R struct {
reader io.Reader
}
func NewReader(r io.Reader) *R {
return &R{
reader: r,
}
}
func (r *R) Read(p []byte) (n int, err error) {
if _, err = r.reader.Read(p); err != nil {
return
}
return len(p), nil
}
func main() {
netR, err := http.Get("https://www.bilibili.com/")
if err != nil {
panic(err)
}
defer netR.Body.Close()
fileR, err := os.Open("/tmp/data.txt")
if err != nil {
panic(err)
}
//读内存
r1 := NewReader(strings.NewReader(""))
b := make([]byte, 10*1024)
if _, err := r1.Read(b); err != nil {
panic(err)
}
//读网络
r2 := NewReader(netR.Body)
if _, err := r2.Read(b); err != nil {
panic(err)
}
//读文件
r3 := NewReader(fileR)
if _, err := r3.Read(b); err != nil {
panic(err)
}
}
bufio
- 每次对磁盘的写入或者发起网络请求 都会给系统带来压力。
将多次操作合并为一次 会减轻系统的压力 - 更优的流程是 producer --> buffer -->io.Writer
参考:https://medium.com/golangspec/introduction-to-bufio-package-in-golang-ad7d1877f762
func buffer() {
fmt.Println("IO")
w := new(W)
w.Write([]byte{'1'})
w.Write([]byte{'2'})
w.Write([]byte{'3'})
w.Write([]byte{'4'})
fmt.Println("Buffer IO")
bw := bufio.NewWriterSize(w, 3)
bw.Write([]byte{'1'})
bw.Write([]byte{'2'})
bw.Write([]byte{'3'})
bw.Write([]byte{'4'})
err := bw.Flush()
if err != nil {
panic(err)
}
}
type W struct {
}
func (*W) Write(p []byte) (n int, err error) {
fmt.Println("length is ", len(p))
fmt.Println(string(p))
return len(p), nil
}
- 普通的IO操作 会直接输出
- buffio 则会首先收集数据到缓存中 等判断buffer满了
之后才会一次性将缓存中的数据 输出。缓存中可能有多余的数据
所以需要 最后单独调用flush 函数 强制将未满的缓存 输出
ReadFrom
- 写操作之前需要 读取数据。io.ReaderFrom interface 就是
为了更加方便的 从一个reader中读取数据
type ReaderFrom interface {
ReadFrom(r Reader) (n int64, err error)
}
func ReadFrom() {
sr := strings.NewReader("read from strings reader")
w := new(W)
bw := bufio.NewWriterSize(w, 6)
if _, err := bw.ReadFrom(sr); err != nil {
panic(err)
}
if err := bw.Flush(); err != nil {
panic(err)
}
}
- bufio.Writer实现了这个接口 从reader中读取数据 io.reader -> buffer -> io.writer
ReadSlice
- 如果bufio的NewReaderSize 如果小于16个字符 会设置为默认长度16个字符
- 读取过程中 会优先判断buffer的size是否足够大 不够的话就会抛出 bufio: buffer full错误
- bufio的ReadSlice函数可以读取读取指定字符之前的字符串,如果读到字符串末尾,还没有找到指定字符串
则会返回eof
s := strings.NewReader("abc|defg\nhij")
r := bufio.NewReader(s)
b, err := r.ReadSlice('|')
if err != nil {
panic(err)
}
fmt.Println(string(b))
b, err = r.ReadSlice('\n')
if err != nil {
panic(err)
}
fmt.Println(string(b))
Go IO && bufio的更多相关文章
- go 文件操作 io
package main import ( "fmt" "os" ) func main() { //打开文件 //概念说明: file 的叫法 //1. fi ...
- go 常用包
标准的 Go 代码库中包含了大量的包,并且在安装 Go 的时候多数会伴随一起安 装.浏览 $GOROOT/src/pkg 目录并且查看那些包会非常有启发. fmt:包 fmt 实现了格式化的 I/O ...
- go linux 学习记录
1 yum install mercurial 安装mercurial包 2 yum install git 安装git包 3 yum install gcc 安装gcc 4 然后就可以下载gola ...
- 使用GO语言灵活批量ssh登录服务器执行操作
摘要: 在工作中时常需要登录服务器做一系列操作,每次输入ssh xxx总是很麻烦.这时候为什么不考虑写一个通用的小脚本呢? go语言是一门新兴语言,能够在很多地方发挥总用.初学go语言,做了这么一个小 ...
- GO语言的进阶之路-网络编程之socket
GO语言的进阶之路-网络编程之socket 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.什么是socket; 在说socket之前,我们要对两个概念要有所了解,就是IP和端口 ...
- Go 中包导入声明
Go中的程序由软件包组成.通常,软件包依赖于其他软件包,或者内置于标准库或第三方的软件包.包需要先导入才能使用其导出的标识符.本文将翻译一篇国外的文章,用于介绍包导入的原理以及几种常用的导入方式. & ...
- Go_18: Golang 中三种读取文件发放性能对比
Golang 中读取文件大概有三种方法,分别为: 1. 通过原生态 io 包中的 read 方法进行读取 2. 通过 io/ioutil 包提供的 read 方法进行读取 3. 通过 bufio 包提 ...
- Golang 中三种读取文件发放性能对比
Golang 中读取文件大概有三种方法,分别为: 1. 通过原生态 io 包中的 read 方法进行读取 2. 通过 io/ioutil 包提供的 read 方法进行读取 3. 通过 bufio 包提 ...
- Go 语言为Fibonacci函数实现Read方法
Go语言非常灵活,只要为对象实现了相应的方法就可以把他看成实现了某个接口,类似于Durk Type, 为Fibonacci实现Read方法,就可以像读取文件一样,去读取下一个Fibonacci值. 示 ...
随机推荐
- python进阶05 常用问题库(1)json os os.path模块
python进阶05 常用问题库(1)json os os.path模块 一.json模块(数据交互) web开发和爬虫开发都离不开数据交互,web开发是做网站后台的,要跟网站前端进行数据交互 1.什 ...
- 1081 Rational Sum(20 分)
Given N rational numbers in the form numerator/denominator, you are supposed to calculate their sum. ...
- 获取jar包当前的路径
转自:http://kinganpo.iteye.com/blog/876243 import java.io.File; /** * 获取打包后jar的路径信息 * @author Administ ...
- eclipse导入基于maven的java项目后没有Java标志和没有maven Dependencies有解决办法
没有java标志,不识别为Java项目,右键项目-->Properties-->Project Facets-->勾选Java 确定就可以了. 没有maven Dependenc ...
- PartTime_20160608
1. http://www.680.com/pojie/398074.html 2. http://www.680.com/pojie/398865.html 3.
- Ubuntu 18.04 Python3.6.6导入wx模块报Gtk-Message : 17:06:05.797 :Failed to load module "canberra-gtk-module"
解决办法: root@sishen:~# apt-get install libcanberra-gtk-module
- java jmap
jmap : 命令用于生成堆转储快照.它还可以查询finalize执行队列.Java堆和永久代的详细信息,如空间使用率.当前用的是哪种收集器等. 命令格式: jmap [option] vmid op ...
- 移动端之js控制rem,适配字体
方法一:设置fontsize 按照iphone 5的适配 1em=10px 适配320 // “()()”表示自执行函数 (function (doc, win) { var docEl = ...
- POJ3252Round Numbers(数位dp)
题意 给出区间$[A, B]$,求出区间内的数转成二进制后$0$比$1$多的数的个数 $1 \leqslant A, B \leqslant 2,000,000,000$ Sol 比较zz的数位dp ...
- SQL Server 查询性能优化——创建索引原则
索引是什么?索引是提高查询性能的一个重要工具,索引就是把查询语句所需要的少量数据添加到索引分页中,这样访问数据时只要访问少数索引的分页就可以.但是索引对于提高查询性能也不是万能的,也不是建立越多的索引 ...