本文分享自天翼云开发者社区《高性能且低成本的 Goroutine 池库-Ants》,作者:李****佳

在 Go 语言中,虽然原生支持并发的 Goroutine 提供了强大的并发能力,但在高并发场景下,无限制地创建 Goroutine 会导致系统资源耗尽。因此,合理管理 Goroutine 的生命周期和数量变得尤为重要。Ants 是一个高性能且低成本的 Goroutine 池库,能够有效解决这些问题。

一、Ants 的优势

Ants 提供了以下关键特性,使其成为高性能 Goroutine 池的理想选择:

  1. 资源复用​:通过复用 Goroutine,减少频繁创建和销毁带来的资源消耗。
  2. 自动调度​:能够高效调度海量 Goroutine,确保并发任务的高效执行。
  3. 优雅处理 Panic​:防止因 Goroutine 中的 Panic 导致程序崩溃。
  4. 性能优化​:相比原生 Goroutine,Ants 在大规模并发任务场景下,吞吐性能提升 2-6 倍,内存消耗减少 10-20 倍。

二、安装与基本使用

安装 Ants 非常简单,只需运行以下命令即可:

bash

安装完成后,就可以在 Go 项目中使用 Ants。

2.1 创建 Goroutine 池

以下是一个简单的示例,展示如何创建一个 Goroutine 池并提交任务:

func main() {
runTask := func(i interface{}) {
fmt.Printf("Running task: %d\n", i.(int))
time.Sleep(1 * time.Second) // 模拟任务处理
} // 创建一个具有 10 个 Goroutines 的池
p, _ := ants.NewPoolWithFunc(10, func(i interface{}) {
runTask(i)
})
defer p.Release() // 提交任务
for i := 0; i < 30; i++ {
_ = p.Invoke(i)
} // 等待所有任务完成
p.Wait()
fmt.Println("All tasks completed")
}
在这个示例中,我们创建了一个包含 10 个 Goroutines 的池,并提交了 30 个任务。Ants 会自动调度这些任务,确保并发数不会超过池的大小。

2.2 提交任务的两种方式

Ants 提供了两种提交任务的方式:

  1. ​**Submit 方法**​:适用于无返回值的任务。
  2. ​**Invoke 方法**​:适用于有返回值的任务。

2.3 动态调整池大小

Ants 支持在运行时动态调整池的大小,这使得 Goroutine 池能够根据实际负载进行灵活调整。

三、高级功能

3.1 非阻塞模式

默认情况下,如果池已满,新任务会阻塞等待。通过设置非阻塞模式,可以避免任务阻塞:

p, _ := ants.NewPoolWithFunc(10, func(i interface{}) {
runTask(i)
}, ants.WithNonblocking(true))
在非阻塞模式下,如果池已满,新任务会立即返回错误。

3.2 任务超时控制

Ants 支持为任务设置超时时间,避免任务长时间占用资源:

p, _ := ants.NewPoolWithFunc(10, func(i interface{}) {
runTask(i)
}, ants.WithExpireDuration(5*time.Second))
在这个示例中,每个任务最多只能运行 5 秒,超过这个时间,任务将被自动终止。

3.3 性能监控

Ants 提供了一些内置的性能监控功能,可以用来观察池的运行状态:

fmt.Printf("Running goroutines: %d\n", pool.Running())
fmt.Printf("Free goroutines: %d\n", pool.Free())
通过这些监控指标,可以更好地了解 Goroutine 池的运行情况。
  • 四、总结

Ants 是一个强大且高效的 Goroutine 池库,通过合理管理 Goroutine 的生命周期和数量,能够显著提升 Go 应用程序的并发性能。无论是简单的并发任务,还是复杂的并发控制,Ants 都提供了强大的支持。

高性能且低成本的 Goroutine 池库-Ants的更多相关文章

  1. Java第三方数据库连接池库-DBCP-C3P0-Tomcat内置连接池

    连接池原理 数据库连接池的基本思想就是为数据库连接建立一个“缓冲池”.预先在缓冲池中放入一定数量的连接,当需要建立数据库连接时,只需从“缓冲池”中取出一个,使用完毕之后再放回去.我们可以通过设定连接池 ...

  2. gf框架之grpool - 高性能的goroutine池

    Go语言中的goroutine虽然相对于系统线程来说比较轻量级,但是在高并发量下的goroutine频繁创建和销毁对于性能损耗以及GC来说压力也不小.充分将goroutine复用,减少goroutin ...

  3. Go语言-并发模式-goroutine池实例(work)

    介绍 使用无缓冲的通道来创建一个 goroutine 池,这些 goroutine 执行并控制一组工作,让其并发执行.在这种情况下,使用无缓冲的通道要比随意指定一个缓冲区大小的有缓冲的通道好,因为这个 ...

  4. golang中goroutine池的使用

    1. 概念本质上是生产者.消费者模型可以有效的控制goroutine数量,防止暴涨案例:生成一个随机数,计算该随机数每一个数字相加的和,例如:123:1+2+3=6主协程负责生产数据发送到待处理通道中 ...

  5. Golang(九)简单 Goroutine 池实现

    0. 前言 最近使用 Golang 写一个并发执行的测试脚本 之前习惯使用 Java,习惯性想先建一个线程池.然后意识到 Golang 没有封装好的线程池 结合之前学习的 Goroutine 原理和 ...

  6. Golang 通用连接池库 Golang-Pool

    Golang 实现的连接池 功能: * 连接池中连接类型为interface{},使得更加通用 * 链接的最大空闲时间,超时的链接将关闭丢弃,可避免空闲时链接自动失效问题 * 使用channel处理池 ...

  7. Goroutine并发调度模型深度解析之手撸一个协程池

    golanggoroutine协程池Groutine Pool高并发 并发(并行),一直以来都是一个编程语言里的核心主题之一,也是被开发者关注最多的话题:Go语言作为一个出道以来就自带 『高并发』光环 ...

  8. [开源] gnet: 一个轻量级且高性能的 Golang 网络库

    Github 主页 https://github.com/panjf2000/gnet 欢迎大家围观~~,目前还在持续更新,感兴趣的话可以 star 一下暗中观察哦. 简介 gnet 是一个基于 Ev ...

  9. go中控制goroutine数量

    控制goroutine数量 前言 控制goroutine的数量 通过channel+sync 使用semaphore 线程池 几个开源的线程池的设计 fasthttp中的协程池实现 Start Sto ...

  10. 并发之痛 Thread,Goroutine,Actor

    转自:http://jolestar.com/parallel-programming-model-thread-goroutine-actor/ 先梳理下两个概念,几乎所有讲并发的文章都要先讲这两个 ...

随机推荐

  1. 【MIPS】P2课下零碎

    1..word使用 .word 0:63 并非划出了64个 4Byte 地址,而是63个,可从编译后Label窗口中查看 2.syscall读取字符 li $v0, 12 syscall 此时\n也会 ...

  2. Golang Linux、Windows、Mac 下交叉编译

    前言 Golang 支持交叉编译, 即同一份代码,在一个平台上生成,然后可以在另外一个平台去执行. 之前写过一篇 Golang windows下 交叉编译 感觉写的不够全面,这篇作为补充. 交叉编译 ...

  3. api使用流程、Scanner键盘录入字符串

    1.api介绍 2.api使用流程 API帮助文档的使用流程 在索引位置搜索自己要查看的类 看包 目的: 是不是java.lang包(核心包), 不需要编写导包代码(import) - 不是java. ...

  4. shared_ptr的线程安全性与再论cmu15445 project0的COW线程安全字典树

    shared_ptr的线程安全性 近期在网上冲浪时看到一篇boost的文章,里面聊到了shared_ptr的线程安全性 https://www.boost.org/doc/libs/1_87_0/li ...

  5. luogu-P5320题解

    简要题意 设 \(f(n)\) 表示用多米诺骨牌恰好铺满 \(2\times n\) 的平面的方案数,\(g(n)\) 表示用多米诺骨牌恰好铺满 \(3\times n\) 的平面的方案数:设 \(F ...

  6. nodejs实现命令行工具

    为什么使用nodejs实现命令行工具 Node.js是一个基于事件驱动I/O的JavaScript环境,基于Google的V8引擎,V8引擎执行Javascript的速度非常快,性能非常好. 众所周知 ...

  7. JSON对象、JSON字符串和Java对象互相转

    JSON对象.JSON字符串和Java对象互相转 Java对象转json字符串(一般使用字符串存储redis或者数据库) public static String toJSONString(Objec ...

  8. MySQL建立RFM模型

    1.数据来源 charge_record表数据 提取代码如下: # coding=utf-8import pymysql# 原数据库链接db1 = pymysql.connect( host='*** ...

  9. Asp.net mvc基础(八)Layout页面的使用

    Layout页面相当于母版页. 使用步骤如下: 1.创建MVC5布局页 @RenderBody()渲染正文部分 @ViewBag.Title表示标题内容 也可以自己定义渲染的部分:比如在布局页中添加@ ...

  10. Cursor+playwright+mcp,好玩

    Cursor+playwright+mcp能干嘛,我就不多说,本文只讲怎么用上 第一步,安装下载Cursor.node.js,至于什么python环境,playwright网上一堆教程,自己查 第二步 ...