goroutine的调度问题,同样也是我之前面试的问题,不过这个问题我当时并不是很清楚,回来以后立马查阅资料,现整理出来备忘。

有一些预备知识需要说明,就是操作系统中的线程。操作系统中的线程分为两种:内核线程和用户线程。用户平时使用的线程并不是内核线程,而是存在于用户态的用户线程。用户线程并不一定在操作系统内核中对用同等数量的内核线程。这里有三个模型:

1.一对一模型(1:1)

2. 多对一模型(N:1)

3. 多对多模型(N:M)

下面就先来谈谈这三种线程模型。

1.一对一模型(1:1)

对于支持线程的操作系统来说,一对一模型是最简单的一种线程模型了,一个用户线程唯一对应一个内核线程,但反过来却不一定,一个内核线程并不一定有对应的用户线程存在。这样一来,由于一个内核线程至多只对应一个用户线程,线程之间可以做到最大程度的并发,不同线程之间不会相互影响,比如一个线程阻塞了也不会影响到其他线程的执行。对于多处理器,一对一的线程模型效率更高。但是很多操作系统限制了内核线程的数量,如果采用一对一模型,用户线程的数量也会受到比较大的限制。而且很多操作系统的内核线程在调度时开销较大,这也会影响用户线程的效率。

2. 多对一模型(N:1)

多对一模型意味着多个用户线程对应一个内核线程,用户线程间的切换由代码控制,因为线程间切换的效率比较高(不用陷入内核区去切换)。不过如果其中一个用户线程阻塞了,则和它对应相同内核线程的那些用户线程也都会阻塞,因为内核线程是被共用的(且是绑定的),此时它无法抽身出来。而且增加处理器个数对于多对一线程模型帮助也不大,毕竟在这种情况下,一个线程阻塞,相关线程也跟着遭殃的事实和处理器个数关系不大。这种模型的好处是线程间切换开销低,且线程数量可以很多。

3. 多对多模型(N:M)

多对多线程模型可以说是上面两种模型的结合,也是最复杂的,它把多个用户线程对应到多个内核线程上,且很多时候不是唯一绑定的。因此一个内核线程在一个时间点可以对应0到多个用户线程。且在运行期间,系统可以根据线程执行情况做合理分配。比如用户线程1、用户线程2和用户线程3对应到一个内核线程1,如果用户线程1阻塞了,系统可以调度用户线程2和用户线程3到其他内核线程上去,这是个动态的过程。多对多线程模型的优势是可以让系统资源得到比较均衡的使用,用户线程之间互相影响比较小,且在多处理器上表现不错(虽然增加处理器个数对它性能提升可能不如一对一模型那么高),关键是它很灵活。

Golang的goroutine调度和多对多模型密切相关,Golang自己有自己的调度器scheduler。Golang的调度器内部有三个重要结构:M、P和G。

M: 代表内核线程。

G: 代表一个goroutine,它有自己的栈,指令指针和一些基本信息,用于被调度。

P: 代表调度的上下文,是Golang内部的调度器,负责让多个goroutine在一个内核线程上运行,它实现了N:1到N:M。

可以看到在某个时刻,一个M对应到一个P,一个P上有一个正在运行的G(蓝色的G),且这个P上可能还有多个G等待被调度(灰色的G),P维护着这个调度队列(runqueue)。P的数量可以通过GOMAXPROCS()来设置,它其实也就代表了真正的并发度,即有多少个goroutine可以同时运行。不过需要注意,GOMAXPROCS()的最大值是256。当要启动一个goroutine时,只需要用go function(args)即可,一但我们启动了一个goroutine,就会在runqueue队尾加入这个goroutine,P会负责调度这些goroutine。

那么如果在某个M被阻塞了呢?这时候就是N:M模型的关键之处了,此时P可以被安排到其他M上去执行,由于P内部维护着一些G的信息,这些G都有独立的栈和指令指针这些基本信息,所以可以很方便地直接换到另一个未被阻塞的M下。

上图描述了这种情况,在左边,G0正在运行,当G0由于系统调用被阻塞时,调度器会创建或者从线程缓存中取得一个线程M1,转投M1。当G0返回时,它必须获得一个P来执行,此时一般是先查看系统中有没有空闲的P,如果有,就获得一个P,用这个P来执行,如果没能获得一个P,这个G0只能暂时放置到一个全局的执行队列(global runqueue)中,它所处的线程M0也就sleep了。系统中的P们会周期性地检查这个队列,取出里面的G来运行。

如上图,还有一种情况是,某个M上的P被分配的G很快就被执行完了,这时M和P都处于闲置状态,无事可做。但也不可能看着其他的P忙碌自己不帮忙吧,此时会先去global runqueue中检查是否有G可以拿,如果并没有,只好尝试去其他P上“偷”一些G来执行,一般就是偷对方runqueue大小的一半,如果还是没偷到,那该只好sleep,该P放入一个闲置的P队列结构等待再次被调度。
 
这样处理,就保证了系统中的G能被有效快速地执行,充分利用了系统资源。

注:以上部分信息和图片来自The Go scheduler

谈谈Golang中goroutine的调度问题的更多相关文章

  1. golang中goroutine池的使用

    1. 概念本质上是生产者.消费者模型可以有效的控制goroutine数量,防止暴涨案例:生成一个随机数,计算该随机数每一个数字相加的和,例如:123:1+2+3=6主协程负责生产数据发送到待处理通道中 ...

  2. golang中goroutine

    1. 概念 goroutine 奉行通过通信来共享内存,而不是共享内存来通信 goroutine 是由go的运行时(runtime)调度和管理的 go程序会智能的将goroutine中的任务合理的分配 ...

  3. golang中goroutine协程调度器设计策略

    goroutine与线程 /* goroutine与线程1. 可增长的栈os线程一般都有固定的栈内存,通常为2MB,一个goroutine的在其声明周期开始时只有很小的栈(2KB),goroutine ...

  4. golang中的goroutine

    1. 概念 go中可以并发执行的活动单元称为goroutine当一个go程序启动时,一个执行main function的goroutine会被创建,称为main goroutinego func() ...

  5. golang中的race检测

    golang中的race检测 由于golang中的go是非常方便的,加上函数又非常容易隐藏go. 所以很多时候,当我们写出一个程序的时候,我们并不知道这个程序在并发情况下会不会出现什么问题. 所以在本 ...

  6. Golang控制goroutine的启动与关闭

    最近在用golang做项目的时候,使用到了goroutine.在golang中启动协程非常方便,只需要加一个go关键字: go myfunc(){ //do something }() 但是对于一些长 ...

  7. golang的goroutine与channel

    Golang的goroutine是非抢占式的, 令人相当蛋疼! 有痛不能呻吟...只能配合channel在各goroutine之间传递信号来实现抢占式, 而这形成了golang最灵活与最具性能的核心. ...

  8. [golang学习] goroutine调度

    这两天有些闲功夫, 学习下golang, 确实非常简洁. 不过有些缺憾. 在我的测试中. golang的调度(goroutine)似乎不是非常好. func say(k int) { fmt.Prin ...

  9. Golang中WaitGroup使用的一点坑

    Golang中WaitGroup使用的一点坑 Golang 中的 WaitGroup 一直是同步 goroutine 的推荐实践.自己用了两年多也没遇到过什么问题.直到一天午睡后,同事扔过来一段奇怪的 ...

随机推荐

  1. HelloGitHub.com 网站开源了

    简介 随着 HelloGitHub 月刊持续更新了一年多,内容变的越来越多.因为内容数据没有结构化,如果还是使用之前的编辑文本的方式编辑月刊内容,会对后面的继续发刊和维护带来了很多问题和多余的工作,例 ...

  2. Angular表单控件需要类型和实际值类型不一致时实现双向绑定

    适用Angular版本为:>=2.本文同样适用于Ionic这类的基于Angular实现的框架. 本文的思路也适用于控件显示的值和实际的值不一样时实现双向绑定. 1. 问题描述 在使用md2的da ...

  3. Java版 QQ空间自动登录无需拷贝cookie一天抓取30WQQ说说数据&流程分析

    QQ空间说说抓取难度比较大,花了一个星期才研究清楚! 代码请移步到GitHub GitHub地址:https://github.com/20100507/Qzone [没有加入多线程,希望你可以参与进 ...

  4. Android Studio2.1 Run APP:Error: Execution failed for task

    Android Studio2.1 Run APP时,遇到错误 Error: Execution failed for task ':app:clean'. Unable to delete file ...

  5. Mybatis JPA 代码构建

    前段时间了解到Spring JPA,感觉挺好用,但其依赖于Hibernate,本人看到Hibernate就头大(不是说Hibernate不好哈,而是进阶太难),于是做了一个迷你版的Mybatis JP ...

  6. Python爬取百度贴吧数据

    本渣除了工作外,在生活上还是有些爱好,有些东西,一旦染上,就无法自拔,无法上岸,从此走上一条不归路.花鸟鱼虫便是我坚持了数十年的爱好. 本渣还是需要上班,才能支持我的业余爱好.上班时间还是尽量访问外网 ...

  7. pb日志查看记录

    因为日志的种类比较多,这里记录下来,方便查看! 1 pb下发日志查看 目前已经确定220-224 603都是这么查看的.手工下发的业务应该都是这么查看的,其实只要去确定步骤2中的序号,就可以直接进入步 ...

  8. (转)Spring boot——logback.xml 配置详解(三)<appender>

    文章转载自:http://aub.iteye.com/blog/1101260,在此对作者的辛苦表示感谢! 1 appender <appender>是<configuration& ...

  9. phpunit实践笔记

    phpunit成为单元测试的代名词已成为共识, 但很多在实际编写测试过程中遇到的很多问题通过手册.网上搜索都很难找到相关资料, 大部分都得通过查看源代码和实践的代码经验解决.欢迎大家拍砖.(在此之前请 ...

  10. 暑假集训D11总结

    %dalao 今天某学长来讲一个极其高深的数据结构——线段树(woc哪里高深了),然而并没有时间整理笔记= =,所以明天在扔笔记咯= = 考试 今天考试,一看数据范围,woc暴力分给的真足,然后高高兴 ...