48 【golang】json的效率
本文将主要做如下几方面的测试:
1,构造一个[100]struct的数组,然后来测试它的json编码后的字符串 或者([]byte),首先关心它的功能是否正常;
2,在很早之前,我们在使用golang版本的json编解码时,发现:同PHP的json编解码相比,golang的效率似乎要低,而且要低不少;
3,基于2的背景,我们希望测试新的golang版本中json编码方面是否有所提升,比较的版本是:Go1.3.3,Go1.9;
4,我们可以用程序的一次性执行来测试它的功能,但是如果多次测试,我们需要构造一个多次测试的环境;
关于3,我们需要做点功课,在同一台机器上部署两个版本的go:https://blog.csdn.net/min2015/article/details/77913910,这个博客或许能有所帮助。
另附:go的各个版本下载地址:https://golang.org/dl/
关于4,我们也需要做点功课,如何能用go test工具来辅助我们处理。这篇文章或许能帮助到我们:http://www.flysnow.org/2017/05/21/go-in-action-go-benchmark-test.html
实验环境准备:
1,创建一个目录,随便一个目录就行,比如我们叫json:mkdir json;
2,构造两个go文件:json.go, json_test.go
json.go代码如下:
package myjson import "fmt"
import "math/rand"
import "time"
//import "os"
import "strconv"
import "encoding/json" type user struct {
Name string `json:"nameabcd"`
Age int `json:"age"`
Desc string `json:"desc"`
} func generate() {
var userRows []user = []user{} var u user
for i := 1; i < 100; i++ {
u.Age = 10 is := strconv.Itoa(i)
u.Name = "name" + is u.Desc = GetText(300) userRows = append(userRows, u) u = user{}
} _, _ = json.Marshal(userRows)
//fmt.Println(string(o))
//os.Exit(1) //构造100个struct
//构造每一个struct: name, age, desc
// name = name + index
// age = rand(10, 40)
// desc = getRandomText(300)
// json.Encode(struct100)
} var _ = fmt.Sprintf("") func GetText(slen int) string {
character := "abcdefghjkmnpqrstuvwxyABCDEFGHJKLMNPQRSTUVWXYZ023456789,:.;-+";
maxlen := int32(len(character)) var result string
rand.Seed(time.Now().UnixNano())
for i:= 0; i < slen; i++ {
idx := rand.Int31n(maxlen)
result += (string)(character[idx])
}
return result
}
json_test.go代码如下:
package myjson import "testing" func BenchmarkJson(b *testing.B) {
for i := 0; i < b.N; i++ {
generate()
}
}
测试1:直接用go benchmark 来测试BenchmarkJson方法。
$ go test -bench=. -run=none
goos: linux
goarch: amd64
BenchmarkJson 300 4361737 ns/op
PASS
ok _/home/luwenwei/go/maps/1 1.761s
测试2:使用go benchmark的mem监控工具来测试BenchmarkJson方法。
$ go test -bench=. -benchmem -run=none
goos: linux
goarch: amd64
BenchmarkJson 300 4466717 ns/op 4957588 B/op 59417 allocs/op
PASS
ok _/home/luwenwei/go/maps/1 1.802s
可以看到带有-benchmem的选项时,在benchmark测试时能够知道内存分配的次数和内存大小。
测试3:作为和测试2的对比组,用go1.3.3来做测试。
1$ ~/download/go1.3.3/go/bin/go test -bench=. -benchmem -run=none
warning: GOPATH set to GOROOT (/home/luwenwei/download/go1.3.3/go) has no effect
testing: warning: no tests to run
PASS
BenchmarkJson 200 8994506 ns/op 5078644 B/op 44185 allocs/op
ok _/home/luwenwei/go/maps/1 2.645s
测试对比结果如下:
测试2(Go1.9) | 测试3(Go1.3.3) | |
内存分配次数 | 59147 | 44184 |
内存分配大小(B) | 4957588 | 5078644 |
每次操作耗时 | 4.4ms | 8.99ms |
测试结果对比情况说明:go1.9的内存分配次数更多,但是每次操作耗时更短,依赖于go的版本升级(猜测:对json处理的优化,split hot stack的问题,由分配栈做link改为连续的内存)
而且这个对比结果还说明了,我们的程序有优化空间,100次的struct构建,却要花费44万次内存分配我们觉得有点扯。
基于这个有点扯的直觉,我们对程序进行了优化。
优化的重点放在了,GetText函数。
优化后的代码:
func GetText(slen int) string {
character := "abcdefghjkmnpqrstuvwxyABCDEFGHJKLMNPQRSTUVWXYZ023456789,:.;-+";
maxlen := int32(len(character)) var r []byte = make([]byte, slen)
//var result string
rand.Seed(time.Now().UnixNano())
for i:= 0; i < slen; i++ {
idx := rand.Int31n(maxlen)
r[i] = character[idx]
//result += (string)(character[idx])
}
return (string)(r)
//return result
}
优化后的测试结果。
测试4:go1.9对优化再次benchmark。
$ go test -bench=. -benchmem -run=none
goos: linux
goarch: amd64
BenchmarkJson 1000 1836617 ns/op 171504 B/op 314 allocs/op
PASS
ok _/home/luwenwei/go/maps/1 2.028s
测试5:go1.3.3.对优化再次benchmark
$ ~/download/go1.3.3/go/bin/go test -bench=. -benchmem -run=none
warning: GOPATH set to GOROOT (/home/luwenwei/download/go1.3.3/go) has no effect
testing: warning: no tests to run
PASS
BenchmarkJson 1000 2221624 ns/op 171772 B/op 268 allocs/op
ok _/home/luwenwei/go/maps/1 2.455s
测试5,测试4,和之前的测试3,测试2,对比,每个op耗时更短,从测试2的4.4ms,降低到测试4的1.8ms。这个优化带来的效果是显著的,甚至比版本的升级带来的速度提升更明显。
测试2(Go1.9) | 测试3(Go1.3.3) | 测试4-优化(Go1.9) | 测试5-优化(Go1.3.3) | |
内存分配次数 | 59K | 44K | 314 | 268 |
内存分配大小 | 4.9MB | 5MB | 171KB | 171KB |
每次操作耗时 | 4.4ms | 8.99ms | 1.8ms | 2.2ms |
从程序的维度来看,这次优化带来的提升是显著的,在动态内存分配上[]byte要优于string的附加;
从Go版本的维度来看,Go1.9比Go1.3.3对json的编码速度而言,更有优势;
从工具的维度来看,go test更偏向于对功能的测试,go test benchmark更偏向于对程序的性能测试,而且benchmark是个很好的工具,它能够胜任较简单的模块测试,帮助我们发现模块中的性能问题。
如果对整个project做性能测试,pprof工具要更好,如果怀疑某个模块有问题,再在这个模块上使用benchmark来精准定位,是个合理的性能瓶颈定位方法。
附录:
关于golang的json,我们可能想了解更多:https://gobyexample.com/json
48 【golang】json的效率的更多相关文章
- Golang Json文件解析为结构体工具-json2go
代码地址如下:http://www.demodashi.com/demo/14946.html 概述 json2go是一个基于Golang开发的轻量json文件解析.转换命令行工具,目前支持转换输出到 ...
- 为什么golang的开发效率高(编译型的强类型语言、工程角度高、在开发上的高效率主要来自于后发优势,编译快、避免趁编译时间找产品妹妹搭讪,既是强类型语言又有gc,只要通过编译,非业务毛病就很少了)
作者:阿猫链接:https://www.zhihu.com/question/21098952/answer/21813840来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出 ...
- golang gob 有什么优势? gob/protobuf/json/xml 效率对比,benchmark 压力测试
TODO 待研究: https://blog.csdn.net/love_se/article/details/7941876 https://blog.csdn.net/wangshubo1989/ ...
- golang json string remove field
golang中如何移除多余的field? 同样是json结构,不能像js 的json一样 delete key 直接移除,网上找了很多相似的,还没找到解决办法,先mark一下 感谢大神提供解决思路,设 ...
- golang json
1.Go语言的JSON 库 Go语言自带的JSON转换库为 encoding/json 1.1)其中把对象转换为JSON的方法(函数)为 json.Marshal(),其函数原型如下 func Mar ...
- golang json用法讲解
简介 json格式可以算我们日常最常用的序列化格式之一了,Go语言作为一个由Google开发,号称互联网的C语言的语言,自然也对JSON格式支持很好.但是Go语言是个强类型语言,对格式要求极其严格而J ...
- golang json html escape unicode
https://play.golang.org/p/FAH-XS-QMC https://github.com/gin-gonic/gin/issues/693 package main import ...
- golang json数组拼接
2016年06月16日 15:38:25 阅读数:2575 标签: golangjson数组 更多 个人分类: golang func main() { a := []byte(`{"P ...
- Golang JSON操作汇总
直接把结构体编码成json数据 package main import ( "encoding/json" "fmt" _ "os" ) t ...
随机推荐
- IDEA 运行spring boot出现端口占用的问题
Description: The Tomcat connector configured to listen on port 8080 failed to start. The port may al ...
- Linux下搭建jmeter
最近做性能测试,Windows下跑jmeter,并发跑不到100,CPU就100%,这还是在命令行模式下,真心头大.没办法,只好搞个Linux来跑了,下面说下如何玩转的. 1.下载Ubuntu操作系统 ...
- ALTER TABLE causes auto_increment resequencing, resulting in duplicate entry ’1′ for key ‘PRIMARY’
在打开navicat设计表时,想更改主键id为自动增长,会弹出来这么一个提示.翻译为:更改表将导致自动增长(列)的重新排序,主键会有重复的‘1’.原因是因为auto_increment是从1开始自增的 ...
- [STM32F103]定时器PWM输入
typedef struct { uint16_t TIM_OCMode; //PWM模式1或者模式2 uint16_t TIM_OutputState; //输出使能 OR失能 uint16_t ...
- Vue 编程式导航(通过js跳转页面)以及路由hash模式和history模式
第一种方法: this.$router.push({path:'shopcontent?aid=3'} 第二种方法 this.$router.push({name:'news'}} 通过在ma ...
- oracle入坑日记<三>用户详解(角色理解)
1 用户是什么 1.1.权限管理是Oracle的精华,不同用户登录到同一数据库中,可能看到不同数量的表,拥有不同的权限.Oracle 的权限分为系统权限和数据对象权限,共一百多种.如果把Oracl ...
- Spring Boot学习大全(入门)
Spring Boot学习(入门) 1.了解Spring boot Spring boot的官网(https://spring.io),我们需要的一些jar包,配置文件都可以在下载.添置书签后,我自己 ...
- DLC 基本定律与规则
字母数字码 :除了数字以外,数字系统还需要处理数字以外的符号,如标点符号,控制命令等 最常见的是ASCII ASCII码是7位二进制码有128种组合,表示128个符号例如 二进制表示 十六进制表示 十 ...
- 如何才能成为一个合格的web前端工程师
转载原文地址:https://juejin.im/post/5cc1da82f265da036023b628 开篇前端开发是一个非常特殊的行业,它的历史实际上不是很长,但是知识之繁杂,技术迭代速度之快 ...
- Django04-模板系统Template
一.模板支持的语法 Django模板中只需要记两种特殊符号: {{ }}表示变量,在模板渲染的时候替换成值{% %}表示逻辑相关的操作. 二. 变量(使用双大括号来引用变量) 1.语法格式:{{var ...