使用image-syncer镜像同步工具将阿里云镜像仓库镜像迁移至私有Harbor

借助于阿里云开源的镜像同步工具image-syncer实现harbor及阿里云镜像仓库之间的镜像迁移

下载镜像同步工具

curl -fL "https://wiseo-generic.pkg.coding.net/wiseo/tools/image-syncer?version=latest" -o image-syncer && chmod 777 image-syncer

编写配置文件auth.yaml，模板如下

<harbor地址>:
  username: <用户名>
  password: <密码>
<阿里云仓库地址>:
  username: <用户名>
  password: <密码>

获取当前集群所有使用的镜像

#获取命名空间，平台上运行的所有组件命名空间为随机字符串，
$  kubectl get ns
NAME                               STATUS   AGE
584226fbdeeb4ecea2d20abe40285467   Active   146d
90e1c7ecea554a418a6d22a7806fe7ef   Active   21d
arms-prom                          Active   277d
default                            Active   317d
kube-node-lease                    Active   317d
kube-public                        Active   317d
kube-system                        Active   317d
rainbond                           Active   317d
rbd-system                         Active   317d

#使用此命令分别指定不同的命名空间，将最终镜像输出至image.yaml文件中
kubectl get pods -n rbd-system -o jsonpath="{.items[*].spec.containers[*].image}" |tr -s '[[:space:]]' '\n' |sort |uniq -c |awk  '{print $2}'|awk -F: '{print $1":"}' >> image.yaml

同步镜像

./image-syncer --proc=6 --auth=./auth.yaml --images=./images.yaml --namespace=boe --registry=<harbor仓库地址> --retries=3 --log=./log

参数说明

-h  --help       使用说明，会打印出一些启动参数的当前默认值
    --config     设置用户提供的配置文件所在路径，使用之前需要创建配置文件，默认为当前工作目录下的image-syncer.json文件
    --log        打印出来的log文件路径，默认打印到标准错误输出，如果将日志打印到文件将不会有命令行输出，此时需要通过cat对应的日志文件查看
    --namespace  设置默认的目标namespace，当配置文件内一条images规则的目标仓库为空，并且默认registry也不为空时有效，可以通过环境变量DEFAULT_NAMESPACE设置，同时传入命令行参数会优先使用命令行参数值
    --registry   设置默认的目标registry，当配置文件内一条images规则的目标仓库为空，并且默认namespace也不为空时有效，可以通过环境变量DEFAULT_REGISTRY设置，同时传入命令行参数会优先使用命令行参数值
    --proc       并发数，进行镜像同步的并发goroutine数量，默认为5
    --records    指定传输过程中保存已传输完成镜像信息（blob）的文件输出/读取路径，默认输出到当前工作目录，一个records记录了对应目标仓库的已迁移信息，可以用来进行连续的多次迁移（会节约大量时间，但不要把之前自己没执行过的records文件拿来用），如果有unknown blob之类的错误，可以删除该文件重新尝试
    --retries    失败同步任务的重试次数，默认为2，重试会在所有任务都被执行一遍之后开始，并且也会重新尝试对应次数生成失败任务的生成。一些偶尔出现的网络错误比如io timeout、TLS handshake timeout，都可以通过设置重试次数来减少失败的任务数量