曹大带我学 Go之一调度的本质

开发 后端
熟悉 GMP 模型的朋友都知道,goroutine 最终在 m 上得以执行,因为操作系统感知不到 goroutine,它只能感知线程,并且线程可以看成是 m。

[[400606]]

你好,我是小X。

曹大最近开 Go 课程了,小X 正在和曹大学 Go。

这个系列会讲一些从课程中学到的让人醍醐灌顶的东西,拨云见日,带你重新认识 Go。

上周课程已经开始了,曹大直播了第一期,干货满满,大呼过瘾。第一课之后,陆续又加进来了一些同学。

首先抛出本文的结论:Go 调度的本质是一个生产-消费流程。

生产者-消费者

生产者-消费者模型

我们平时用 Go 最爽的一点莫过于用一句 go func(){}() 就启动了一个 goroutine 来并发地执行任务。这比用 C/C++ 启动一个线程并发地去执行任务方便太多。这句代码实际上就生产出了一个 goroutine,并进入可运行队列,等待和 m 来找它从而可以得到运行。

熟悉 GMP 模型的朋友都知道,goroutine 最终在 m 上得以执行,因为操作系统感知不到 goroutine,它只能感知线程,并且线程可以看成是 m。

所以,m 拿到 goroutine 并运行它的过程就是一个消费过程。

生产-消费过程

生产过程——三级队列

生产出的 goroutine 需要找一个地方存放,这个地方就是可运行队列。在 Go 程序中,可运行队列是分级的,分为三级:

三级可运行队列

runnext 实际上只能指向一个 goroutine,所以它是一个特殊的队列。

那把 goroutine 放到哪个可运行队列呢?看情况。

首先,如果 runnext 为空,那么 goroutine 就会顺利地放入 runnext,接下来,它会以最高优先级得到运行,即优先被消费。

如果 runnext 不为空,那就先负责把 runnext 上的 old goroutine 踢走,再把 new goroutine 放上来。具体踢到哪里呢?又得分情况。

local queue 是一个大小为 256 的数组,实际上用 head 和 tail 指针把它当成一个环形数组在使用。如果 local queue 不满,则将 runnext 放入 local queue;否则,P 的本地队列上的 goroutine 太多了,说明当前 P 的任务太重了,需要减负,因此需要得到其他 P 协助。从而,将 runnext 以及当前 P 的一半 goroutine 一起打包丢到 global queue 里去。

当然,这部分课程里有非常生动的动画,这里贴一个截图大家感受一下:

生产者动画

消费过程——调度循环

之前的文章里也讲到过调度循环是咋回事,它实际上就是 Go 程序在启动的时候,会创建和 CPU 核心数相等个数的 P,会创建初始的 m,称为 m0。这个 m0 会启动一个调度循环:不断地找 g,执行,再找 g……

伪代码是这样的:

调度循环

随着程序的运行,m 更多地被创建出来,因此会有更多的调度循环在执行。

那边生产者在不断地生产 g,这边 m 的调度循环不断地在消费 g,整个过程就 run 起来了。

找 g 的过程中当然也是从上面的三级队列里找:

先看 runnext,再看 local queue,再看 global queue。当然,如果实在找不到,就去其他 p 去偷。

总结

今天的文章只用记住一个观点:Go 调度的本质是一个生产-消费流程。这个观点非常新颖,之前我没有从哪篇文章看到过,这是曹大自己的感悟。

读者即使之前没见过类似的说法,但是一旦听曹大讲出来,就马上感觉醍醐灌顶。

 

这种熟悉加意外的效果其实就是你成长的时机。

 

责任编辑:武晓燕 来源: 码农桃花源
相关推荐

2021-06-10 09:00:32

Go底层代码

2021-06-07 10:47:02

GoGoexit函数

2021-06-01 09:27:53

Ast Go语言

2021-08-09 07:47:39

ExtraGoMap

2022-01-05 08:56:20

Go火焰图编程

2021-07-15 08:58:15

指定配置项Go

2021-05-27 08:59:09

Go汇编命令

2024-12-03 15:15:22

2013-01-09 17:57:11

曹开彬

2013-07-02 11:14:40

SCE虚拟化

2022-11-27 23:37:34

Go模式Workspaces

2022-12-14 23:05:29

Go模糊测试

2020-11-11 08:20:33

比特币加密货币区块链

2021-10-19 11:22:08

SentinelGo源码

2014-07-31 10:57:15

Android组件Service

2021-09-26 05:05:46

GoFiber Express

2018-11-16 17:00:05

Python脚本数据分析

2021-07-02 06:54:45

GoJavachannel

2022-04-27 10:14:43

进程调度LinuxCPU

2018-12-03 05:06:53

点赞
收藏

51CTO技术栈公众号