原文:https://my.oschina.net/waknow/blog/205654


摘要: 使用Go链接数据库时,由于连接释放不当会在一段时间以后产生too many connections的错误。因此需要适当的选择函数和及时的释放数据库连接。

这几天用Go写了个简陋的服务器,连接Mysql数据库,提供api给其他程序调用来实现增删改产等服务。Go的版本是1.2,使用的驱动是go-sql-driver/mysql。但是在有一定量的查询结果以后,会出先too many connection的错误。

google了一下,很多文章都建议修改MySql的配置文件:my.ini。文章是这样解释的:MySql的默认连接数是100,当查询数过多时,就会出现这个错误。所以把配置修改:

max_connections=1000

这个字段后面的数字就是MySql允许的连接数,改的大一些就会解决问题。于是在电脑上直接改成10000,重启MySql。然后电脑就卡的要崩溃了。看了相关的文档大约知道,这个参数是控制MySql建立的线程数的。改成10000就会有一万个线程,电脑自然就会卡的。但是即使是这个样子,在一定的时间后还是会出现too many connections这样的错误,只是出现的时间会晚一些罢了。所以说这个也只是治标而不治本,根本没有解决问题。

翻看Go的sql文档,其中有个func (*DB) SetMaxOpenConns的函数,看名字是可以控制最大的连接数的。很开心的在程序里设置了个可以接受的数字,然后编译运行。问题仍然没有解决,还是会报同样的错误。只能通过不断的重启服务器来解决。一时真的不知道该怎么解决了。甚至怀疑是不是使用的驱动包有问题。

无意间看到这篇文章Go's database/sql,文章里解释了Go中连接数据库的连接池:当你需要和数据库通信时,就会从连接池里面取出一个连接,和数据库交互。使用完的闲置的连接会回到连接池,等待下一次的调用。如果连接池里面没有闲置的连接,会自动创建一个新的连接出来。其中有一段:

An sql.Row returns the connection when Scan() is called, sql.Rows returns either when Close() is called or all rows have been iterated over with Next(), and sql.Tx will return when Commit or Rollback() are called. If you forget to completely iterate an sql.Rows and you forget to Close it, that connection will never go back to the pool.

从上面可以看到,sql.Row如果不遍历完或者直接调用Close()方法,执行这次查询的连接就会一直存在!当连接池里的可用连接用光后,就开始创建新的连接。这就是为什么调用SetMaxOpenConns没有用的原因,因为这个函数只是设置连接池里的连接数而已!如果因为不及时释放连接而让连接池干掉了,还是会不断的创建新的连接,直到用光MySql所有的连接,报错。明白以后,在所有调用DB.Query的函数里加上了:

defer row.Close()

这样查询连接就能在函数结束或者异常的情况下被关闭,就不会持续创建新的连接了。满以为这样就可以解决问题了,但是服务器运行了以后,过段时间仍然会出现相同的错误。在phpMyadmin里的监控页面,可以看到程序运行以后MySql的连接数猛增。问题又变得无解了,只能重新一行行检查代码。

Go中的函数可以有多个返回值,使用下划线可以忽略不需要的返回值:

_, err := m.DB.Query("sql")

程序中update和del之类的sql语句不需要返回值,就直接忽略了。猜想这样也是没法释放连接的,因为即使你不接受返回值,不代表这个变量就不存在了。也就是说返回的sql.Row还是存在的,只是你没有接收而已。没接收,就更谈不上释放连接了,所以最后产生了大量的连接继续报错。回头看看那篇文章,看到这么一段:

Ping and Exec will release the connection right before returning, but the others will pass ownership of the connection to the result, whether that's an sql.Row, sql.Rows, or sql.Tx.

也就是说Ping和Exec方法在调用完之后,会自动释放连接。把代码中所有不需要返回值的语句改成由Exce方法执行,go run 一下,ok,连接数终于正常了!

问题是解决了,总起来以后要注意一下的东西:

  • 程序连接数据库会有连接泄漏的情况,需要及时释放连接

  • Go sql包中的Query和QueryRow(@qgymje 在评论中提到,QueryRow通过调用Scan方法,会自动关闭连接的)两个方法的连接不会自动释放连接,只有在遍历完结果或者调用close方法才会关闭连接

  • Go sql中的Ping和Exec方法在调用结束以后就会自动释放连接

  • 忽略了函数的某个返回值不代表这个值就不存在了,如果该返回值需要close才会释放资源,直接忽略了就会导致资源的泄漏。

  • 有close方法的变量,在使用后要及时调用该方法,释放资源

Go连接MySql数据库Error 1040: Too many connections错误解决的更多相关文章

  1. [技术博客]django连接mysql数据库的方法及部分问题的解决方法

    配置机器介绍 操作系统:Ubuntu 18.04.2 LTS 64位 python版本:Python 3.6.7 Django版本:Django 2.2 MySql版本:5.7.26 数据库选择 我们 ...

  2. 3.django连接mysql数据库及安装mysqldb驱动报错解决办法

    1.在setting.py设置连接数据库 DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'djang ...

  3. MySQL ERROR 1040: Too many connections

    如题,本章主要讲下当服务器出现 ERROR 1040: Too many connections错误时的一些处理心得. max_connections查看 ## 查看最大连接数 SHOW VARIAB ...

  4. Navicat for mysql 远程连接 mySql数据库10061、1045错误

    原文地址:http://www.111cn.net/database/mysql/46377.htm 有朋友可能会碰到使用Navicat for mysql 远程连接 mySql数据库会提示10061 ...

  5. Qt连接mysql数据库遇到QMYSQL driver not loaded

    本文件向各位博友分享一下我在Qt开发过程中,连接mysql数据库时遇到的问题,以及解决的方法,希望对遇到同样问题的博友有所帮助. 工程运行环境:vs2015+Qt5.8 在开发过程中,编写数据库连接函 ...

  6. ruby使用DBI连接MySQL数据库发生异常:in `error': Can't connect to MySQL server on 'localhost' (10061) (DBI::DatabaseError)

    Ruby使用DBI连接MySQL数据库一般为: require "dbi" dbh = DBI.connect("dbi:Mysql:test:localhost&quo ...

  7. Error loading MySQLdb module: No module named 'MySQLdb'----------- django成功连接mysql数据库的方法

    在进行django学习过程中,尝试使用框架连接mysql数据库,启动服务器的时候经常遇到Error loading MySQLdb module: No module named 'MySQLdb' ...

  8. (转) Eclipse连接MySQL数据库(傻瓜篇)

    Eclipse连接MySQL数据库(傻瓜篇) 原帖地址: http://www.cnblogs.com/fnng/archive/2011/07/18/2110023.html Posted on 2 ...

  9. visualC/C++连接MySql数据库

    vs连接数据库其实就是将mysql数据库.h头文件接口.lib链接文件和dll执行文件加入到项目中.下面是配置如何加入. 转于http://www.cnblogs.com/justinzhang/ar ...

随机推荐

  1. spring MVC 学习(四)---拦截器,视图解析器

    1.接口HandlerInterceptor 该接口包含3个方法,分别是preHandle,postHandle,afterCompletion,分别代表着执行前,执行后,执行完成要执行的方法,其中p ...

  2. 转 Merkle Tree(默克尔树)算法解析

    Merkle Tree概念  Merkle Tree,通常也被称作Hash Tree,顾名思义,就是存储hash值的一棵树.Merkle树的叶子是数据块(例如,文件或者文件的集合)的hash值.非叶节 ...

  3. Linux-vim与ssh客户端

    一.vim使用 Linux系统下标准的编辑器,他就相当于windows系统中的记事本一样,它的强大不逊色于任何最新的文本编辑器. (1)vim安装 (2)vim使用:操作模式  一般模式(默认模式,不 ...

  4. Linux服务器access_log日志分析及配置详解(二)

    默认nginx / Linux日志在哪个文件夹? 一般在 xxx.xxx.xxxx.com/home/admin 路径下面的error.log文件和access.log文件error_log logs ...

  5. 002-jdk10安装

    下载地址: 1.百度云下载地址.(当然也可以官网下载,都一样) 地址:https://pan.baidu.com/s/13oZh_5tXb_Xadg9f-y2Idw 密码:a9h8 安装jdk: 2. ...

  6. 在Idea中连接数据库并生成实体类(mybatis逆向生成实体类)

    1.连接数据库 (1)按下图 ,  点击view-----选择tool windows----------选择database并点击 (2)弹出Database窗口 点击加号------------选 ...

  7. 分布式存储系统 Ceph

    你了解Ceph吗? Ceph是一种分布式存储系统,它可以将多台服务器组成一个超大集群,把这些机器中的磁盘资源整合到一块儿,形成一个大的资源池(PB级别),然后按需分配给应用使用. 那么你知道Ceph的 ...

  8. selenium的基本介绍

    应吴姑娘(漂亮的姑娘)之邀,加上我师兄(屌丝)和国新(屌丝),组了个四黑小团伙,每周二分享点东西,感觉就是四个辣鸡相互取暖.可惜,今天早上直接是睡过去了,下午都捐给了<白夜追凶>---没办 ...

  9. 两个java小练习

    网上看到的一个小练习,自己写了一个,但是时间限制并不符合,并且貌似还有些小问题,暂时放在这儿,代码格式什么的也不太规范. 1.班级排名时间限制: 1000ms 内存限制: 65536kB 描述 信息科 ...

  10. React 常用插件库

    js 加密 crypto-js (des加密,md5) crypto-js https://www.npmjs.com/package/crypto-js Mock联调 数据是前端开发过程中必不可少的 ...