IO

  • IO包 是对数据流的操作。从哪里来, 怎么处理,再到哪里去。

图片来源 https://medium.com/learning-the-go-programming-language/streaming-io-in-go-d93507931185

  • IO包 对数据的读写 是通过接口的形式约定的。数据的来源或者去向可能是 网络,内存,文件。
type Reader interface {
Read(p []byte) (n int, err error)
} type Writer interface {
Write(p []byte) (n int, err error)
}
  • 应用层 只需要按照接口去调用接口 不用关心底层实现细节 非常方便
package main

import (
"io"
"net/http"
"os"
"strings"
) type R struct {
reader io.Reader
} func NewReader(r io.Reader) *R {
return &R{
reader: r,
}
} func (r *R) Read(p []byte) (n int, err error) {
if _, err = r.reader.Read(p); err != nil {
return
}
return len(p), nil
} func main() {
netR, err := http.Get("https://www.bilibili.com/")
if err != nil {
panic(err)
}
defer netR.Body.Close()
fileR, err := os.Open("/tmp/data.txt")
if err != nil {
panic(err)
}
//读内存
r1 := NewReader(strings.NewReader(""))
b := make([]byte, 10*1024)
if _, err := r1.Read(b); err != nil {
panic(err)
}
//读网络
r2 := NewReader(netR.Body)
if _, err := r2.Read(b); err != nil {
panic(err)
}
//读文件
r3 := NewReader(fileR)
if _, err := r3.Read(b); err != nil {
panic(err)
}
}

bufio

  • 每次对磁盘的写入或者发起网络请求 都会给系统带来压力。

    将多次操作合并为一次 会减轻系统的压力
  • 更优的流程是 producer --> buffer -->io.Writer

参考:https://medium.com/golangspec/introduction-to-bufio-package-in-golang-ad7d1877f762

func buffer() {
fmt.Println("IO")
w := new(W)
w.Write([]byte{'1'})
w.Write([]byte{'2'})
w.Write([]byte{'3'})
w.Write([]byte{'4'}) fmt.Println("Buffer IO")
bw := bufio.NewWriterSize(w, 3)
bw.Write([]byte{'1'})
bw.Write([]byte{'2'})
bw.Write([]byte{'3'})
bw.Write([]byte{'4'})
err := bw.Flush()
if err != nil {
panic(err)
}
} type W struct {
} func (*W) Write(p []byte) (n int, err error) {
fmt.Println("length is ", len(p))
fmt.Println(string(p))
return len(p), nil
}
  • 普通的IO操作 会直接输出
  • buffio 则会首先收集数据到缓存中 等判断buffer满了

    之后才会一次性将缓存中的数据 输出。缓存中可能有多余的数据

    所以需要 最后单独调用flush 函数 强制将未满的缓存 输出

ReadFrom

  • 写操作之前需要 读取数据。io.ReaderFrom interface 就是

    为了更加方便的 从一个reader中读取数据
type ReaderFrom interface {
ReadFrom(r Reader) (n int64, err error)
}
func ReadFrom() {
sr := strings.NewReader("read from strings reader")
w := new(W)
bw := bufio.NewWriterSize(w, 6)
if _, err := bw.ReadFrom(sr); err != nil {
panic(err)
}
if err := bw.Flush(); err != nil {
panic(err)
}
}
  • bufio.Writer实现了这个接口 从reader中读取数据 io.reader -> buffer -> io.writer

ReadSlice

  • 如果bufio的NewReaderSize 如果小于16个字符 会设置为默认长度16个字符
  • 读取过程中 会优先判断buffer的size是否足够大 不够的话就会抛出 bufio: buffer full错误
  • bufio的ReadSlice函数可以读取读取指定字符之前的字符串,如果读到字符串末尾,还没有找到指定字符串

    则会返回eof
	s := strings.NewReader("abc|defg\nhij")
r := bufio.NewReader(s)
b, err := r.ReadSlice('|')
if err != nil {
panic(err)
}
fmt.Println(string(b)) b, err = r.ReadSlice('\n')
if err != nil {
panic(err)
}
fmt.Println(string(b))

Go IO && bufio的更多相关文章

  1. go 文件操作 io

    package main import ( "fmt" "os" ) func main() { //打开文件 //概念说明: file 的叫法 //1. fi ...

  2. go 常用包

    标准的 Go 代码库中包含了大量的包,并且在安装 Go 的时候多数会伴随一起安 装.浏览 $GOROOT/src/pkg 目录并且查看那些包会非常有启发. fmt:包 fmt 实现了格式化的 I/O ...

  3. go linux 学习记录

    1 yum install mercurial 安装mercurial包 2 yum install git 安装git包 3 yum install gcc 安装gcc 4  然后就可以下载gola ...

  4. 使用GO语言灵活批量ssh登录服务器执行操作

    摘要: 在工作中时常需要登录服务器做一系列操作,每次输入ssh xxx总是很麻烦.这时候为什么不考虑写一个通用的小脚本呢? go语言是一门新兴语言,能够在很多地方发挥总用.初学go语言,做了这么一个小 ...

  5. GO语言的进阶之路-网络编程之socket

    GO语言的进阶之路-网络编程之socket 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.什么是socket; 在说socket之前,我们要对两个概念要有所了解,就是IP和端口 ...

  6. Go 中包导入声明

    Go中的程序由软件包组成.通常,软件包依赖于其他软件包,或者内置于标准库或第三方的软件包.包需要先导入才能使用其导出的标识符.本文将翻译一篇国外的文章,用于介绍包导入的原理以及几种常用的导入方式. & ...

  7. Go_18: Golang 中三种读取文件发放性能对比

    Golang 中读取文件大概有三种方法,分别为: 1. 通过原生态 io 包中的 read 方法进行读取 2. 通过 io/ioutil 包提供的 read 方法进行读取 3. 通过 bufio 包提 ...

  8. Golang 中三种读取文件发放性能对比

    Golang 中读取文件大概有三种方法,分别为: 1. 通过原生态 io 包中的 read 方法进行读取 2. 通过 io/ioutil 包提供的 read 方法进行读取 3. 通过 bufio 包提 ...

  9. Go 语言为Fibonacci函数实现Read方法

    Go语言非常灵活,只要为对象实现了相应的方法就可以把他看成实现了某个接口,类似于Durk Type, 为Fibonacci实现Read方法,就可以像读取文件一样,去读取下一个Fibonacci值. 示 ...

随机推荐

  1. python进阶05 常用问题库(1)json os os.path模块

    python进阶05 常用问题库(1)json os os.path模块 一.json模块(数据交互) web开发和爬虫开发都离不开数据交互,web开发是做网站后台的,要跟网站前端进行数据交互 1.什 ...

  2. 1081 Rational Sum(20 分)

    Given N rational numbers in the form numerator/denominator, you are supposed to calculate their sum. ...

  3. 获取jar包当前的路径

    转自:http://kinganpo.iteye.com/blog/876243 import java.io.File; /** * 获取打包后jar的路径信息 * @author Administ ...

  4. eclipse导入基于maven的java项目后没有Java标志和没有maven Dependencies有解决办法

    没有java标志,不识别为Java项目,右键项目-->Properties-->Project Facets-->勾选Java   确定就可以了. 没有maven Dependenc ...

  5. PartTime_20160608

    1. http://www.680.com/pojie/398074.html 2. http://www.680.com/pojie/398865.html 3.

  6. Ubuntu 18.04 Python3.6.6导入wx模块报Gtk-Message : 17:06:05.797 :Failed to load module "canberra-gtk-module"

    解决办法: root@sishen:~# apt-get install libcanberra-gtk-module

  7. java jmap

    jmap : 命令用于生成堆转储快照.它还可以查询finalize执行队列.Java堆和永久代的详细信息,如空间使用率.当前用的是哪种收集器等. 命令格式: jmap [option] vmid op ...

  8. 移动端之js控制rem,适配字体

    方法一:设置fontsize 按照iphone 5的适配  1em=10px    适配320 // “()()”表示自执行函数 (function (doc, win) { var docEl = ...

  9. POJ3252Round Numbers(数位dp)

    题意 给出区间$[A, B]$,求出区间内的数转成二进制后$0$比$1$多的数的个数 $1 \leqslant A, B \leqslant 2,000,000,000$ Sol 比较zz的数位dp ...

  10. SQL Server 查询性能优化——创建索引原则

    索引是什么?索引是提高查询性能的一个重要工具,索引就是把查询语句所需要的少量数据添加到索引分页中,这样访问数据时只要访问少数索引的分页就可以.但是索引对于提高查询性能也不是万能的,也不是建立越多的索引 ...