运维必备:基于 Harbor 的 Helm Charts 批量拉取,从配置到自动化脚本
引言
在企业级 Kubernetes 环境中,Harbor 作为主流的镜像与 Helm Chart 管理工具,常被用于存储 Helm Charts。但在迁移、备份或离线部署场景中,批量拉取 Harbor 中的 Charts 可能面临效率低下或权限问题。本文将通过 Helm CLI + Shell 脚本的组合方案,实现一键化批量导出操作。
一、环境准备与 Helm 仓库配置
1.1 添加 Harbor 仓库
通过 Helm 命令行工具关联 Harbor 仓库,需指定项目路径和认证信息:
# 配置变量(按实际环境修改)
HARBOR_URL="https://harbor.example.com"
PROJECT_NAME="your-project"
USERNAME="admin"
PASSWORD="your-password"
# 添加 Helm 仓库
helm repo add harbor-repo ${HARBOR_URL}/chartrepo/${PROJECT_NAME} \
--username=${USERNAME} \
--password=${PASSWORD}
# 强制更新仓库索引(避免缓存导致列表不全)
helm repo update --force-update harbor-repo
注意:若 Harbor 版本 ≥2.6.0,需确保已弃用 ChartMuseum 并启用 OCI 兼容模式。
1.2 验证仓库可见性
helm search repo harbor-repo # 应显示 Charts 列表
若列表为空,检查 Harbor 控制台 → 目标项目 → Helm Charts 是否已上传 Charts。
二、自动化批量拉取脚本
2.1 脚本核心逻辑
创建 pull-all-charts.sh,实现以下功能:
• 动态获取 Charts 列表
• 按 Chart 名称创建目录
• 下载所有历史版本
#!/bin/bash
REPO_NAME="harbor-repo"
OUTPUT_DIR="./harbor-charts"
mkdir -p "${OUTPUT_DIR}"
# 获取 Charts 列表(过滤表头)
CHARTS=$(helm search repo ${REPO_NAME} -l | awk 'NR>1 {print $1}')
for CHART in ${CHARTS}; do
SHORT_NAME=$(echo "${CHART}" | sed "s|${REPO_NAME}/||")
CHART_DIR="${OUTPUT_DIR}/${SHORT_NAME}"
mkdir -p "${CHART_DIR}"
# 获取所有版本(JSON 解析)
VERSIONS=$(helm search repo "${CHART}" --versions -o json | jq -r '.[].version')
# 并行下载(4线程)
echo ${VERSIONS} | xargs -n1 -P4 -I{} helm pull "${CHART}" --version {} --destination "${CHART_DIR}"
done
echo "Download completed! Output directory: ${OUTPUT_DIR}"
2.2 运行脚本
chmod +x pull-all-charts.sh && ./pull-all-charts.sh
输出目录结构示例:
harbor-charts/
├── nginx/
│ ├── nginx-1.2.3.tgz
│ └── nginx-4.5.6.tgz
└── redis/
├── redis-7.0.0.tgz
└── redis-8.1.0.tgz
三、常见问题与解决方案
3.1 权限错误(403 Forbidden)
• 原因:用户权限不足或认证信息过期
• 修复:
# 重新配置仓库凭据
helm repo update harbor-repo --username=${USERNAME} --password=${PASSWORD}
需确保 Harbor 用户至少具备 Guest 角色。
3.2 Charts 列表不全
• 原因:Helm 缓存或分页限制
• 方案:改用 Harbor API 直接获取(示例片段):
# 分页查询仓库列表
PAGE=1
while true; do
REPO_PAGE=$(curl -s -k -u "${USERNAME}:${PASSWORD}" \
"${HARBOR_URL}/api/v2.0/projects/${PROJECT_ID}/repositories?page=${PAGE}&page_size=50")
# 解析并追加到列表...
done
完整脚本可参考网页3的 API 调用逻辑。
3.3 下载中断或超时
• 优化:增加重试机制
for VERSION in ${VERSIONS}; do
until helm pull "${CHART}" --version ${VERSION}; do
echo "Retrying ${VERSION}..."
sleep 10
done
done
四、扩展应用场景
4.1 仅拉取最新版本
修改版本获取逻辑:
VERSIONS=$(helm search repo "${CHART}" --versions -o json | jq -r '.[0].version')
4.2 与 CI/CD 流水线集成
在 GitLab CI 中配置阶段任务:
pull-charts:
stage: deploy
script:
- apk add helm jq
- ./pull-all-charts.sh
artifacts:
paths:
- harbor-charts/
4.3 离线环境分发
打包成压缩文件后传输:
tar czvf harbor-charts-$(date +%Y%m%d).tgz harbor-charts/
五、总结
通过本文方案,您可以:
- 快速备份:全量保存 Harbor 中的 Helm Charts
- 简化迁移:跨集群或跨 Harbor 实例同步 Charts
- 支持离线部署:与 Air-Gapped 环境无缝衔接
建议将脚本与定时任务结合(如 CronJob),实现定期自动化备份。对于大规模环境,可参考网页7的 API 分页方案优化性能。
运维必备:基于 Harbor 的 Helm Charts 批量拉取,从配置到自动化脚本的更多相关文章
- centos7系统管理和运维实战——运维必备的网络管理技能(1)
运维必备的网络管理技能 一.网络管理协议: 1.简单的两个概念: DHCP(动态主机配置协议):如果网络结构要更改,需要从新初始化网络参数,手机用动态主机配置协议可以避免这个问题.客户端可以从D ...
- 运维监控-基于yum的方式部署 Zabbix Agent 4.0 版本
运维监控-基于yum的方式部署 Zabbix Agent 4.0 版本 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 上一篇博客我们分享了如何基于yum的方式部署zabbix 4. ...
- 运维监控-基于yum的方式部署Zabbix Server 4.0 版本
运维监控-基于yum的方式部署Zabbix Server 4.0 版本 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.如何选择zabbix版本 1>.打开zabbix官方 ...
- 简单记录五个Linux设置定时任务的步骤(自动化运维必备)
这几天我们国庆节休息,但是作为运维工作的同学们是不是也不能闲着,担心工作中是不是有任务在执行中需要维护.于是,我们很多的运维工作都是用的自动化运维监控,如果有故障都会定时的处理和告警的.这个与我们的L ...
- 站长、运维必备| 网站可用性监控产品 OneAPM Cloud Test 上线
白天太忙,到了晚上才发现网站一天都没有访问量? 直到有用户投诉才发现网站完全无法访问? 还要每月付费才能及时了解网站可用情况? 监控频率太低,不能及时发现网站不可用? 第三方服务宕机,导致您的网站不可 ...
- 推荐linux运维必备的几本书
首先,<鸟哥的linux私房菜> 鸟哥 其次,<linux就该这么学> 刘瑞版 然后,<CentOS linux系统运维> 张祥琳版 最后,<CentOS运维 ...
- 日常运维中的相关日志切割处理方法总结 [Logrotate、python、shell脚本实现 ]
对于Linux系统安全来说,日志文件是极其重要的工具.不知为何,我发现很多运维同学的服务器上都运行着一些诸如每天切分Nginx日志之类的CRON脚本,大家似乎遗忘了Logrotate,争相发明自己的轮 ...
- Linux运维实战之DNS(bind)服务器的安装与配置
转自http://sweetpotato.blog.51cto.com/533893/1598225 上次博文我们讨论了DNS的基础,本次博文我们重点来看看如何配置一台DNS服务器. [本次博文的主要 ...
- 关于使用kubeoperator搭建k8s集群使用containerd作为容器运行时,从自己搭建的habor仓库拉取镜像的有关说明
1.kubepi界面添加habor仓库信息,并授权给k8s集群 这一步的操作是当在工作负载选择从harbor仓库拉取镜像时会自动创建有关的secrets信息,从而不用事先手动创建了(有别于kuboar ...
- CentOS 6.5自动化运维之基于DHCP和TFTP服务的PXE自动化安装centos操作系统详解
前言 如果要给很多台客户端主机安装操作系统,要是每一台都拿张安装光盘一台一台主机的去装系统那就太浪费时间和精力了.在生产环境中也不实际,要实现为多台主机自动安装操作系统,那我们怎么实现自动化安装 ...
随机推荐
- Linux常见问题合集
Linux基本指令 连接SSH ssh uesrname@ip 例如:ssh root@192.168.43.217 Linux 创建多级目录命令: mkdir -p 示例:mkdir -p proj ...
- DICOM-SCP,可以直接使用的SCP(.net framework 4.6.1以上)控制台接收端
此程序只能运行在.net framework 4.6.1版本上的环境,如果要运行在低版本环境,请看上一篇文档 using System; using System.IO; using System.T ...
- HashMap的put方法的扩容流程
final Node<K,V>[] resize() { // [1,2,3,4,5,6,7,8,9,10,11,,,,] Node<K,V>[] oldTab = table ...
- 解决Git拉取出现“bad config line 1 in file C:\Users\quber/.gitconfig”的错误
1.问题描述 我们在拉取Git项目的时候,突然出现如下图所示的错误提示: 2.解决办法 定位到.gitconfig文件,然后将其删除掉: 然后在项目文件夹中点击鼠标右键,选择Git Bash Here ...
- shell学习之保存数据库
自动备份 Mysql 数据库脚本 #!/bin/bash #author by wxp #used to backup mysql practise USER=root PASSWD=1234 HOS ...
- linux下创建idea的桌面快捷方式
!!!使用linux系统安装idea才会用到: 在桌面上,新建文件,命名为:idea.desktop , (或者在别的地方创建后再放到桌面) 使用 vim 编辑该文件(或者不新建,直接vi idea. ...
- spring的事务管理有几种方式实现
一.事务的4个特性: 原子性:一个事务中所有对数据库的操作是一个不可分割的操作序列,要么全做,要么全部做. 一致性:数据不会因为事务的执行而遭到破坏. 隔离性:一个事务的执行,不受其他事务 ...
- 用python做时间序列预测七:时间序列复杂度量化
本文介绍一种方法,帮助我们了解一个时间序列是否可以预测,或者说了解可预测能力有多强. Sample Entropy (样本熵) Sample Entropy是Approximate Entropy(近 ...
- Ansible 数百台批量操作前期准备工作
Ansible 数百台批量操作前期准备工作 背景: 当前有100台服务器在同一个内网,需要统一部署业务程序并且对主机修改主机名,只提供了一个文档host_user.txt,内容 " IP 用 ...
- C# 搭建一个 基于ISqlSugarClient 三层架构框架 涉及数据库仓储 然后中间又有业务逻辑层 案例
要在C#中搭建基于ISqlSugarClient的三层架构框架,你需要定义数据访问层(DAL).业务逻辑层(BLL)和表现层(UI).下面是一个完整的例子,涉及数据库仓储.业务逻辑层,以及依赖注入.这 ...