runv containerd 流程分析

当runv需要启动一个容器的时候，首先需要启动containrd，作为该容器的daemon。因此，启动containerd的相关代码也是从runv/start.go开始。最终，启动containerd的命令行参数如下所示：

runv --kernel /var/lib/hyper/kernel --initrd /var/lib/hyper/hyper-initrd.img --default_cpus 1 --default_memory 128 containerd 
--solo-namespaced --containerd-dir /run/runv-namespace-457712864 --state-dir /run/runv --listen /run/runv-namespace-457712864/namespaced.sock

　　

1、runv/containerd/containerd.go

Action: func(context *cli.Context)

（1）、对各个flag进行加载，包括driver, kernel, initrd,template,stateDir等等，上面的命令行都描述得很清晰了

（2）、调用hypervisor.HDriver, err = driverloader.Probe(driver)加载hypervisor的驱动，一般为qemu

（3）、调用f = factory.NewFromConfigs(kernel, initrd, nil)获得一个工厂实例

（4）、调用sv, err := supervisor.New(stateDir, containerdDir, f, context.GlobalInt("default_cpus"), context.GlobalInt("default_memory"))，获得一个supervisor实例

（5）、如果指定了solo-namespaced参数，则调用go namespaceShare(sv, containerdDir, stateDir)

（6）、创建daemon，调用daemon(sv, context.String("listen"))

（7）、如果指定了solo-namespaced，则进行清除工作，os.RemoveAll(containerdDir)

2、runv/driverloader_linux.go

func Probe(driver string) (hypervisor.HypervisorDriver, error)

该函数针对不同的driver做初始化操作，这里我们只对driver为qemu的情况进行讨论，因此直接调用qd := qemu.InitDriver()，并且return qd。而qemu的InitDriver的操作很简单，仅仅是找到qemu的绝对路径，然后return &QemuDriver{executable: cmd.,}。

3、runv/factory/factory.go

func NewFromConfigs(kernel, initrd string, configs []FactoryConfig) Factory

因为在初始化的过程中configs为nil，因此仅仅只是调用return single.New(direct.New(1000000, 1000000, kernel, initrd))。其中direct.New返回了一个base.Factory，首先构建一个hypervisor.BootConfig的实例，b := hypervisor.BootConfig{CPU: cpu, Memory: mem, HotAddCpuMem: true, Kernel: kernel, Initrd: initrd}， 在包装一下b，return &directFactory{config: b}。而single.New(b base.Factory)仅仅只是返回 Factory{Factory: b}

Supervisor结构如下所示：

type Supervisor struct {

　　StateDir　　　　string
　　Factory　　　　factory.Factory
　　defaultCpus　　int
　　defaultMemory　int

　　Events　　　　SvEvents

　　sync.RWMutex

　　containers　　map[string]*Container

}

　　

4、runv/supervisor/supervisor.go

func New(stateDir, eventLogDir string, f factory.Factory, defaultCpus int , defaultMemory int) (*Supervisor, error)

首先创建stateDir目录和eventLogDir目录，接着填充数据结构Supervisor， sv := &Supervisor{...}。创建sv.Events.subscribers = make(map[chan Event]struct{})。接着go sv.reaper()，最后，return sv, sv.Events.setupEventLog(eventLogDir) // eventLogDir其实就是containerdDir。例如，/run/runv-namespace-457712864

5、runv/containerd/containerd.go

func namaspaceShare(sv *supervisor.Supervisor, namespace, state string)

该函数主要通过从events := sv.Events.Events(time.Time{})接收来的事件来对容器进行计数

（1）、当接收到的事件e的Type为EventContainerStart时，调用os.Symlink(namespace, filepath.Join(state, e.Id, "namespace"))，链接两个容器的namespace，最后，containerCount++

（2）、当接收到的事件e的Type为EventExit并且e.Pid为init时，containerCount--，当containerCount为0时，调用syscall.Kill(0, syscall.SIGQUIT)（注：kill的pid为0，表示向进程组所在的所有进程发送信号）。最后，containerd的reaper接收到syscall.SIGQUIT时，退出。

6、runv/containerd/containerd.go

func daemon(sv *supervisor.Supervisor, address)

首先创建一个reaper, s := make(chan os.Signal, 2048)，signal.Notify(s, syscall.SIGCHLD, syscall.SIGTERM, syscall.SIGINT, syscall.SIGQUIT)。之后，调用server, err := startServer(address, sv)启动server。最后，处理来自s的信号，若信号为syscall.SIGCHLD只调用osutils.Reap()进行简单的处理，其他信号则直接调用server.Stop()关闭containerd

7、runv/containerd/containerd.go

func startServer(address string, sv *supervisor.Supervisor) (*grpc.Server, error)

该函数主要用于创建grpc server

（1）、l, err := net.Listen(defautlListenType, address)

（2）、types.RegisterAPIServer(s, server.NewServer(sv))

（3）、go func() { s.server(l) }()

-------------------------------------------------------------------------- containerd 对 event的处理---------------------------------------------------------

1、runv/supervisor/supervisor.go

func (sv *Supervisor) reaper()

首先调用events := sv.Events.Events(time.Time{})获得一个channel，用于获取container最新的状态。之后，调用一个for循环，从events中得到事件e，当e.Type 为EventExit时，调用go sv.reap(e.ID, e.PID)

2、runv/supervisor/supervisor.go

func (sv *Supervisor) reap(container, processId string)

根据container和processId，调用go p.reap()，删除c.ownerPod.Processes中和c.Processes对应的processId, 如果c中的Process为0了，则调用go c.reap()，再依次删除c.ownerPod.Containers和sv.Containers中的container。最后，若c.ownerPod.Containers为0了，则调用go c.ownerPod.reap()

3、runv/supervisor/supervisor.go

func (se *SvEvents) setupEventLog(logDir string) error

首先调用se.readEventLog(logDir)，将events.log中的内容都读取到se.eventLog中，接着调用events := se.Events(time.Time{})获取events的channel，最后将channel中读取的event写入events.log中并且也添加到se.eventLog中。其实这个函数所做的工作，就是将events.log中原有的log添加到se.eventLog中，并且将新的event添加到se.eventLog和events.log中。

4、runv/supervisor/supervisor.go

// notifySubscribers will send the provided event to the external subscriber of the events channel，就是向se.subscriber中注册的各个channel发送event

func (se *SvEvents) notifySubscribers(e Event)

仅仅只是一个简单的for循环，遍历subscribers:

for sub := range se.subscribers{

　　select{

　　// do a non-blocking send for the channel (non-blocking是指，如果sub<-e阻塞，就直接default？)

　　case sub <- e:

　　default:

　　　　glog.Infof("containerd: event not sent to the subscriber")

　　}

}

-------------------------------------------------------------------- process, container, pod的reap 操作 --------------------------------------------------------------------------------------

1、runv/supervisor/process.go

func (p *Process) reap()

该函数只是简单的调用p.closeStdin而已

2、runv/supervisor/process.go

func (p *Process) closeStdin() error

当p.stdinCloser不为空时，调用p.stdinCloser.Close()，最后将p.stdinCloser置为nil即可

3、runv/supervisor/container.go

func (c *Container) reap()

首先，containerShareDir := filepath.Join(hypervisor.BaseDir, c.ownerPod.vm.Id, hypervisor.ShareDirTag, c.Id)，然后将containerShareDir中的rootfs umount，最后，删除containerShareDir和filepath.Join(c.ownerPod.sv.StateDir, c.Id)

4、runv/supervisor/hyperpod.go

func (hp *HyperPod) reap()

首先调用Response := hp.vm.StopPod(hp.podStatus)，接着调用hp.stopNsListener()，最后删除目录filepath.Join(hypervisor.BaseDir, hp.vm.Id)