golang SQLite3性能测试
SQLite是个小型的数据库,很简洁,即支持文件也支持内存,比较适合小型的独立项目,在没有网络的时候做一些复杂的关系数据存储和运算。
为了考察性能做10M(1000万)条记录的测试,测试机4CPU、8G内存,操作系统:Ubuntu 16
测试结果:
10M条写入时间:92秒
平均每条检索时间:0.0172毫秒
最大内存占用1.7G
使用的Driver
github.com/mattn/go-sqlite3
下面是测试的代码
//SQLite in memory,小心,不能只写:memory:,这样每一次连接都会申请内存
db, err := sql.Open("sqlite3", "file::memory:?mode=memory&cache=shared&loc=auto")
if err != nil {
fmt.Println("SQLite:", err)
}
defer db.Close()
fmt.Println("SQLite start")
//创建表//delete from BC;,SQLite字段类型比较少,bool型可以用INTEGER,字符串用TEXT
sqlStmt := `create table BC (b_code text not null primary key, c_code text not null, code_type INTEGER, is_new INTEGER);`
_, err = db.Exec(sqlStmt)
if err != nil {
fmt.Println("create table error->%q: %s\n", err, sqlStmt)
return
}
//创建索引,有索引和没索引性能差别巨大,根本就不是一个量级,有兴趣的可以去掉试试
_, err = db.Exec("CREATE INDEX inx_c_code ON BC(c_code);")
if err != nil {
fmt.Println("create index error->%q: %s\n", err, sqlStmt)
return
}
//写入10M条记录
start := time.Now().Unix()
tx, err := db.Begin()
if err != nil {
fmt.Println("%q", err)
}
stmt, err := tx.Prepare("insert into BC(b_code, c_code, code_type, is_new ) values(?,?,?,?)")
if err != nil {
fmt.Println("insert err %q", err)
}
defer stmt.Close()
var m int = 1000 * 1000
var total int = 10 * m
for i := 0; i < total; i++ {
_, err = stmt.Exec(fmt.Sprintf("B%024d", i), fmt.Sprintf("C%024d", i), 0, 1)
if err != nil {
fmt.Println("%q", err)
}
}
tx.Commit()
insertEnd := time.Now().Unix()
//随机检索10M次
var count int64 = 0 stmt, err = db.Prepare("select b_code, c_code, code_type, is_new from BC where c_code = ? ")
if err != nil {
fmt.Println("select err %q", err)
}
defer stmt.Close()
bc := new(BCCode)
for i := 0; i < total; i++ { err = stmt.QueryRow(fmt.Sprintf("C%024d", i)).Scan(&bc.B_Code, &bc.C_Code, &bc.CodeType, &bc.IsNew)
if err != nil {
fmt.Println("query err %q", err)
}
//屏幕输出会花掉好多时间啊,计算耗时的时候还是关掉比较好
//fmt.Println("BCode=", bc.B_Code, "\tCCode=", bc.C_Code, "\tCodeType=", bc.CodeType, "\tIsNew=", bc.IsNew)
count++
}
readEnd := time.Now().Unix()
fmt.Println("insert span=", (insertEnd - start),
"read span=", (readEnd - insertEnd),
"avg read=", float64(readEnd-insertEnd)*1000/float64(count))
golang SQLite3性能测试的更多相关文章
- Golang RPC 性能测试
Golang RPC 性能测试 | KDF5000 http://kdf5000.com/2017/03/28/Golang-RPC-性能测试/
- 我的Vue之旅 07 Axios + Golang + Sqlite3 实现简单评论机制
第三期 · 使用 Vue 3.1 + TailWind.CSS + Axios + Golang + Sqlite3 实现简单评论机制 效果图 CommentArea.vue 我们需要借助js的Dat ...
- golang 单元测试&&性能测试
一:单元测试 1.为什么要做单元测试和性能测试 减少bug 快速定位bug 减少调试时间 提高代码质量 2.golang的单元测试 单元测试代码的go文件必须以_test.go结尾 单元测试的函数名必 ...
- golang sqlite3 CRUD
package main import ( "database/sql" "fmt" "log" _ "github.com/ma ...
- Golang适合高并发场景的原因分析
http://blog.csdn.NET/ghj1976/article/details/27996095 典型的两个现实案例: 我们先看两个用Go做消息推送的案例实际处理能力. 360消息推送的数据 ...
- Golang 语言的单元测试和性能测试(也叫 压力测试)
Golang单元测试对文件名和方法名,参数都有很严格的要求. 例如: 1.文件名必须以xx_test.go命名 2.方法必须是Test[^a-z]开头(T必须大写),func TestXxx (t * ...
- golang bufio、ioutil读文件的速度比较(性能测试)和影响因素分析
前言 golang读取文件的方式主要有4种: 使用File自带的Read方法 使用bufio库的Read方法 使用io/ioutil库的ReadAll() 使用io/ioutil库的ReadFile( ...
- golang 性能测试pprof
golang 性能测试包是位于 net/http 包下的 pprof,其相关介绍可以参看具体的 官方文档 有关 golang 性能测试使用特别简单,在 main 包中的引包位置直接引入: import ...
- 基本http服务性能测试(Python vs Golang)
最近学习Golang,总想体验下并发到底有多叼,必我大 python强势多少. 学习了官方教程的http 服务,用性能测试工具wrk测试了下,发现结果很令人惊讶- wrk可以参考我的博客,有基本用法说 ...
随机推荐
- 重启tomcat但是session仍然有效的解决方法
参考:http://www.blogjava.net/freeman1984/archive/2010/03/30/316901.html server.xml,在你的webapp的Context节点 ...
- poj3253 优先队列
Farmer John wants to repair a small length of the fence around the pasture. He measures the fence an ...
- 制作Cubie版OpenWRT(功能齐全,大小仅有11M)
Allwinner Sun4i/5i/6i/7i (sunxi) Various vendors are offering development boards / single-board comp ...
- javaweb项目配jdk
1.首先在你的本地安装jdk1.6,并将之添加至myeclipse中:window--preferences--installed jres,add添加,格式D:\program files\jd ...
- 破解idea注册码
添加 “0.0.0.0 account.jetbrains.com”到host, hosts位置:C:\Windows\System32\drivers\etc 获取注册码网址: http://ide ...
- 【vijos】1769 网络的关键边(割边)
https://vijos.org/p/1769 啊,割边写挫了害得我交了那么多发... 本题多想想就出来了.. 首先求出割边,显然关键边就在割边上. 求完割边后,我们先从一个点dfs,维护A的点数和 ...
- 【BZOJ】3016: [Usaco2012 Nov]Clumsy Cows(贪心)
http://www.lydsy.com/JudgeOnline/problem.php?id=3016 之前yy了一个贪心,,,但是错了,,就是枚举前后对应的字符(前面第i个和后面第i个)然后相同答 ...
- php程序员网址大全
网址:http://www.tnten.com/ 常用网址 慕课网 知乎 GitHub CSDN社区 博客园 51CTO 开源中国 IT之家 简明魔法 编程论坛 InfoQ 实验楼 Unix技术网 中 ...
- 【IOS】 readonly IOS下实战入门
当非常多XXX.h 文件属性YY设计中,对外的设计是 YY(readonly) 时.外界便不能改动该属性, 同一时候问题也来了,该XXX类的内部也不能改动改YY属性了.你瞬间凌乱过么. ..Y_Y 然 ...
- 带圈星号用MathType可以编辑出来吗
对于很多的数学领域的人来说,大家都知道数学符号往往并不是单一的,常常会出现在不同的场景下有不同的符号要求.比如带星号的运算符号,加减乘除等.对于乘号来说,有点乘叉乘和星乘三种,下面本MathType教 ...