external-attacher源码分析(1)-main方法与启动参数分析

更多 ceph-csi 其他源码分析，请查看下面这篇博文：kubernetes ceph-csi分析目录导航

摘要

ceph-csi分析-external-attacher源码分析。external-attacher属于external plugin中的一个，辅助csi plugin组件，共同完成了存储相关操作。external-attacher watch volumeAttachment对象，然后调用csi plugin来做attach/dettach操作，并修改volumeAttachment对象与pv对象。

基于tag v2.1.1

https://github.com/kubernetes-csi/external-attacher/releases/tag/v2.1.1

external-attacher

external-attacher属于external plugin中的一个。下面我们先来回顾一下external plugin以及csi系统结构。

external plugin

external plugin包括了external-provisioner、external-attacher、external-resizer、external-snapshotter等，external plugin辅助csi plugin组件，共同完成了存储相关操作。external plugin负责watch pvc、volumeAttachment等对象，然后调用volume plugin来完成存储的相关操作。如external-provisioner watch pvc对象，然后调用csi plugin来创建存储，最后创建pv对象；external-attacher watch volumeAttachment对象，然后调用csi plugin来做attach/dettach操作，并修改volumeAttachment对象与pv对象；external-resizer watch pvc对象，然后调用csi plugin来做存储的扩容操作等。

csi系统结构

external-attacher作用分析

根据CSI plugin是否支持ControllerPublish/ControllerUnpublish操作，external-attacher的作用分为如下两种：

（1）当CSI plugin不支持ControllerPublish/ControllerUnpublish操作时，AD controller（或kubelet的volume manager）创建VolumeAttachment对象后，external-attacher仅参与VolumeAttachment对象的修改，将attached属性值patch为true；而external-attacher对pv对象无任何同步处理操作。

（2）当CSI plugin支持ControllerPublish/ControllerUnpublish操作时，external-attacher调用csi plugin（ControllerPublishVolume）进行存储的attach操作，然后更改VolumeAttachment对象，将attached属性值patch为true，并patch pv对象，增加该external-attacher相关的Finalizer；对于pv对象，external-attacher负责处理pv对象的finalizer，patch pv对象，去除该external-attacher相关的finalizer（该external-attacher执行attach操作时添加的finalizer）。

源码分析

external-attacher的源码分析分为两部分：

（1）main方法以及启动参数分析；

（2）核心处理逻辑分析。

这篇博客先对external-attacher的main方法以及启动参数做分析，下篇博客将对external-attacher的核心处理逻辑进行源码分析。

main

main方法主要逻辑：

（1）解析启动参数；

（2）校验worker-threads配置；

（3）根据配置建立clientset；

（4）建立与csi plugin的grpcclient；

（5）调用csi plugin的探测方法（探测cephcsi-rbd服务是否准备好），直至探测成功；

（6）获取driver名称；

（7）获取csi plugin提供的能力，判断是否提供Controller服务，当不支持时实例化TrivialHandler，当支持时进入下一步；

（8）获取csi plugin提供的能力，判断是否支持ControllerPublish/ControllerUnpublish操作，支持则实例化CSIHandler，不支持则实例化TrivialHandler（CSIHandler与TrivialHandler在下一篇博客再做具体介绍，这里只要知道有这么两个东西就行）；

（9）ceph-csi不提供Controller attach服务，所以走NewTrivialHandler；

（10）获取csi plugin提供的能力，判断是否提供ListVolumesPublishedNodes服务；

（11）新建CSIAttachController；

（12）定义run方法，方法中调用CSIAttachController的run方法；

（13）进行高可用选主相关操作，并运行run方法。

func main() {
    // 解析启动参数
	klog.InitFlags(nil)
	flag.Set("logtostderr", "true")
	flag.Parse()

    // --version输出
	if *showVersion {
		fmt.Println(os.Args[0], version)
		return
	}
	klog.Infof("Version: %s", version)

    // 根据配置建立clientset
	// Create the client config. Use kubeconfig if given, otherwise assume in-cluster.
	config, err := buildConfig(*kubeconfig)
	if err != nil {
		klog.Error(err.Error())
		os.Exit(1)
	}

    // 校验worker-threads配置
	if *workerThreads == 0 {
		klog.Error("option -worker-threads must be greater than zero")
		os.Exit(1)
	}

    // 根据配置建立clientset
	clientset, err := kubernetes.NewForConfig(config)
	if err != nil {
		klog.Error(err.Error())
		os.Exit(1)
	}

	factory := informers.NewSharedInformerFactory(clientset, *resync)
	var handler controller.Handler
	metricsManager := metrics.NewCSIMetricsManager("" /* driverName */)

    // 建立grpcclient
	// Connect to CSI.
	csiConn, err := connection.Connect(*csiAddress, metricsManager, connection.OnConnectionLoss(connection.ExitOnConnectionLoss()))
	if err != nil {
		klog.Error(err.Error())
		os.Exit(1)
	}

    // 进行grpc探测（探测cephcsi-rbd服务是否准备好），直至探测成功
	err = rpc.ProbeForever(csiConn, *timeout)
	if err != nil {
		klog.Error(err.Error())
		os.Exit(1)
	}

    // 获取driver名称
	// Find driver name.
	ctx, cancel := context.WithTimeout(context.Background(), csiTimeout)
	defer cancel()
	csiAttacher, err := rpc.GetDriverName(ctx, csiConn)
	if err != nil {
		klog.Error(err.Error())
		os.Exit(1)
	}
	klog.V(2).Infof("CSI driver name: %q", csiAttacher)
	metricsManager.SetDriverName(csiAttacher)
	metricsManager.StartMetricsEndpoint(*metricsAddress, *metricsPath)

    // 获取csi plugin提供的能力，判断是否提供Controller服务
	supportsService, err := supportsPluginControllerService(ctx, csiConn)
	if err != nil {
		klog.Error(err.Error())
		os.Exit(1)
	}
	if !supportsService {
	    // 实例化TrivialHandler
		handler = controller.NewTrivialHandler(clientset)
		klog.V(2).Infof("CSI driver does not support Plugin Controller Service, using trivial handler")
	} else {
	    // 获取csi plugin提供的能力，判断是否提供Controller attach服务
		// Find out if the driver supports attach/detach.
		supportsAttach, supportsReadOnly, err := supportsControllerPublish(ctx, csiConn)
		if err != nil {
			klog.Error(err.Error())
			os.Exit(1)
		}
		if supportsAttach {
			pvLister := factory.Core().V1().PersistentVolumes().Lister()
			nodeLister := factory.Core().V1().Nodes().Lister()
			vaLister := factory.Storage().V1beta1().VolumeAttachments().Lister()
			csiNodeLister := factory.Storage().V1beta1().CSINodes().Lister()
			volAttacher := attacher.NewAttacher(csiConn)
			CSIVolumeLister := attacher.NewVolumeLister(csiConn)
			// 实例化CSIHandler
			handler = controller.NewCSIHandler(clientset, csiAttacher, volAttacher, CSIVolumeLister, pvLister, nodeLister, csiNodeLister, vaLister, timeout, supportsReadOnly, csitrans.New())
			klog.V(2).Infof("CSI driver supports ControllerPublishUnpublish, using real CSI handler")
		} else {
		    // 实例化TrivialHandler
			handler = controller.NewTrivialHandler(clientset)
			klog.V(2).Infof("CSI driver does not support ControllerPublishUnpublish, using trivial handler")
		}
	}

    // 获取csi plugin提供的能力，判断是否提供ListVolumesPublishedNodes服务
	slvpn, err := supportsListVolumesPublishedNodes(ctx, csiConn)
	if err != nil {
		klog.Errorf("Failed to check if driver supports ListVolumesPublishedNodes, assuming it does not: %v", err)
	}

	if slvpn {
		klog.V(2).Infof("CSI driver supports list volumes published nodes. Using capability to reconcile volume attachment objects with actual backend state")
	}

    // 新建CSIAttachController
	ctrl := controller.NewCSIAttachController(
		clientset,
		csiAttacher,
		handler,
		factory.Storage().V1beta1().VolumeAttachments(),
		factory.Core().V1().PersistentVolumes(),
		workqueue.NewItemExponentialFailureRateLimiter(*retryIntervalStart, *retryIntervalMax),
		workqueue.NewItemExponentialFailureRateLimiter(*retryIntervalStart, *retryIntervalMax),
		slvpn,
		*reconcileSync,
	)

    // 定义run方法，方法中调用CSIAttachController的run方法
	run := func(ctx context.Context) {
		stopCh := ctx.Done()
		factory.Start(stopCh)
		ctrl.Run(int(*workerThreads), stopCh)
	}

    // 进行高可用选主相关操作，并运行run方法
	if !*enableLeaderElection {
		run(context.TODO())
	} else {
		// Name of config map with leader election lock
		lockName := "external-attacher-leader-" + csiAttacher
		le := leaderelection.NewLeaderElection(clientset, lockName, run)

		if *leaderElectionNamespace != "" {
			le.WithNamespace(*leaderElectionNamespace)
		}

		if err := le.Run(); err != nil {
			klog.Fatalf("failed to initialize leader election: %v", err)
		}
	}
}

启动参数分析

启动参数列表

具体参考https://github.com/kubernetes-csi/external-attacher#command-line-options

// Command line flags
var (
	kubeconfig    = flag.String("kubeconfig", "", "Absolute path to the kubeconfig file. Required only when running out of cluster.")
	resync        = flag.Duration("resync", 10*time.Minute, "Resync interval of the controller.")
	csiAddress    = flag.String("csi-address", "/run/csi/socket", "Address of the CSI driver socket.")
	showVersion   = flag.Bool("version", false, "Show version.")
	timeout       = flag.Duration("timeout", 15*time.Second, "Timeout for waiting for attaching or detaching the volume.")
	workerThreads = flag.Uint("worker-threads", 10, "Number of attacher worker threads")

	retryIntervalStart = flag.Duration("retry-interval-start", time.Second, "Initial retry interval of failed create volume or deletion. It doubles with each failure, up to retry-interval-max.")
	retryIntervalMax   = flag.Duration("retry-interval-max", 5*time.Minute, "Maximum retry interval of failed create volume or deletion.")

	enableLeaderElection    = flag.Bool("leader-election", false, "Enable leader election.")
	leaderElectionNamespace = flag.String("leader-election-namespace", "", "Namespace where the leader election resource lives. Defaults to the pod namespace if not set.")

	reconcileSync = flag.Duration("reconcile-sync", 1*time.Minute, "Resync interval of the VolumeAttachment reconciler.")

	metricsAddress = flag.String("metrics-address", "", "The TCP network address where the prometheus metrics endpoint will listen (example: `:8080`). The default is empty string, which means metrics endpoint is disabled.")
	metricsPath    = flag.String("metrics-path", "/metrics", "The HTTP path where prometheus metrics will be exposed. Default is `/metrics`.")
)

func main() {
	klog.InitFlags(nil)
	flag.Set("logtostderr", "true")
	flag.Parse()
......

external-attacher容器启动参数

    - args:
    - --v=5
    - --csi-address=$(ADDRESS)
    - --leader-election=true
    - --retry-interval-start=500ms
    env:
    - name: ADDRESS
      value: /csi/csi-provisioner.sock
    volumeMounts:
    - mountPath: /csi
      name: socket-dir
volumes:
  - emptyDir:
      medium: Memory
    name: socket-dir

下面是部分参数解析：

v

日志打印等级。

csi-address

csi plugin（controller server）暴露服务的socket地址。

leader-election

是否开启高可用选主（使用Leases）。

retry-interval-start

VA/PV对象同步失败后的重试时间间隔。

retry-interval-max

VA/PV对象同步失败后的最大重试时间间隔。

timeout

与CSI driver通信的超时时间，默认15秒。

worker-threads

同步VA/PV对象的工作线程数量，默认10。

总结

external-attacher属于external plugin中的一个。

external-attacher作用分析

根据CSI plugin是否支持ControllerPublish/ControllerUnpublish操作，external-attacher的作用分为如下两种：

（1）当CSI plugin不支持ControllerPublish/ControllerUnpublish操作时，AD controller（或kubelet的volume manager）创建VolumeAttachment对象后，external-attacher仅参与VolumeAttachment对象的修改，将attached属性值patch为true；而external-attacher对pv对象无任何同步处理操作。

（2）当CSI plugin支持ControllerPublish/ControllerUnpublish操作时，external-attacher调用csi plugin（ControllerPublishVolume）进行存储的attach操作，然后更改VolumeAttachment对象，将attached属性值patch为true，并patch pv对象，增加该external-attacher相关的Finalizer；对于pv对象，external-attacher负责处理pv对象的finalizer，patch pv对象，去除该external-attacher相关的finalizer（该external-attacher执行attach操作时添加的finalizer）。

external-attacher与ceph-csi结合使用

ceph-csi不支持ControllerPublish/ControllerUnpublish操作，所以external-attacher与ceph-csi 结合使用，external-attacher仅参与VolumeAttachment对象的修改，将attached属性值patch为true。