使用 flux2+kustomize+helm+github 进行多集群 GitOps 云原生渐进式交付

对于此示例，我们假设有两个集群的场景：暂存(staging)和生产(production)。

最终目标是利用 Flux 和 Kustomize 来管理两个集群，同时最大限度地减少重复声明。

我们将配置 Flux 以使用 HelmRepository 和 HelmRelease

自定义资源安装、测试和升级演示应用程序。

Flux 将监控 Helm 存储库，并根据 semver 范围自动将 Helm 版本升级到最新的 chart 版本。

准备工作

flux2-kustomize-helm-example

• https://github.com/fluxcd/flux2-kustomize-helm-example

您将需要 Kubernetes 集群版本 1.16 或更新版本以及 kubectl 版本 1.18 或更新。

对于快速的本地测试，您可以使用

Kubernetes kind。不过，任何其他 Kubernetes 设置也可以正常工作。

为了遵循本指南，您需要一个 GitHub 帐户和一个可以创建存储库的

personal access token（检查 repo 下的所有权限）。

使用 Homebrew 在 MacOS 和 Linux 上安装 Flux CLI：

brew install fluxcd/tap/flux

或者通过使用 Bash 脚本下载预编译的二进制文件来安装 CLI：

curl -s https://fluxcd.io/install.sh | sudo bash

项目结构

Git 存储库包含以下顶级目录：

• apps 目录包含每个集群具有自定义配置的 Helm 版本
• infrastructure 目录包含常见的基础设施工具，例如 NGINX ingress controller 和 Helm 存储库定义
• clusters 目录包含每个集群的 Flux 配置

├── apps
│   ├── base
│   ├── production
│   └── staging
├── infrastructure
│   ├── nginx
│   ├── redis
│   └── sources
└── clusters
    ├── production
    └── staging

apps 配置结构为：

• apps/base/ 目录包含命名空间和 Helm 发布定义(release definitions)
• apps/production/ 目录包含生产 Helm 发布值(release values)
• apps/staging/ 目录包含 staging values

./apps/
├── base
│   └── podinfo
│       ├── kustomization.yaml
│       ├── namespace.yaml
│       └── release.yaml
├── production
│   ├── kustomization.yaml
│   └── podinfo-patch.yaml
└── staging
    ├── kustomization.yaml
    └── podinfo-patch.yaml

在 apps/base/podinfo/ 目录中，我们有一个 HelmRelease，两个集群都有共同的值：

apiVersion: helm.toolkit.fluxcd.io/v2beta1
kind: HelmRelease
metadata:
  name: podinfo
  namespace: podinfo
spec:
  releaseName: podinfo
  chart:
    spec:
      chart: podinfo
      sourceRef:
        kind: HelmRepository
        name: podinfo
        namespace: flux-system
  interval: 5m
  values:
    cache: redis-master.redis:6379
    ingress:
      enabled: true
      annotations:
        kubernetes.io/ingress.class: nginx
      path: "/*"

在 apps/staging/ 目录中，我们有一个带有 staging 特定值的 Kustomize 补丁(patch)：

apiVersion: helm.toolkit.fluxcd.io/v2beta1
kind: HelmRelease
metadata:
  name: podinfo
spec:
  chart:
    spec:
      version: ">=1.0.0-alpha"
  test:
    enable: true
  values:
    ingress:
      hosts:
        - podinfo.staging

请注意，使用 version: ">=1.0.0-alpha" 我们配置 Flux 以自动将 HelmRelease 升级到最新的 chart 版本，包括 alpha、beta 和预发布(pre-releases)。

在 apps/production/ 目录中，我们有一个带有生产特定值的 Kustomize 补丁：

apiVersion: helm.toolkit.fluxcd.io/v2beta1
kind: HelmRelease
metadata:
  name: podinfo
  namespace: podinfo
spec:
  chart:
    spec:
      version: ">=1.0.0"
  values:
    ingress:
      hosts:
        - podinfo.production

请注意，使用 version: ">=1.0.0" 我们配置 Flux 以自动将 HelmRelease 升级到

最新的稳定 chart 版本（alpha、beta 和 pre-releases 将被忽略）。

基础设施：

./infrastructure/
├── nginx
│   ├── kustomization.yaml
│   ├── namespace.yaml
│   └── release.yaml
├── redis
│   ├── kustomization.yaml
│   ├── namespace.yaml
│   └── release.yaml
└── sources
    ├── bitnami.yaml
    ├── kustomization.yaml
    └── podinfo.yaml

在 infrastructure/sources/ 目录中，我们有 Helm 存储库定义：

apiVersion: source.toolkit.fluxcd.io/v1beta1
kind: HelmRepository
metadata:
  name: podinfo
spec:
  interval: 5m
  url: https://stefanprodan.github.io/podinfo
---
apiVersion: source.toolkit.fluxcd.io/v1beta1
kind: HelmRepository
metadata:
  name: bitnami
spec:
  interval: 30m
  url: https://charts.bitnami.com/bitnami

请注意，使用 interval: 5m 我们将 Flux 配置为每五分钟拉一次 Helm 存储库索引。

如果索引包含与 HelmRelease semver 范围匹配的新 chart 版本，Flux 将升级该版本。

Bootstrap staging 和 production

集群目录包含 Flux 配置：

./clusters/
├── production
│   ├── apps.yaml
│   └── infrastructure.yaml
└── staging
    ├── apps.yaml
    └── infrastructure.yaml

在 clusters/staging/ 目录中，我们有 Kustomization 定义：

apiVersion: kustomize.toolkit.fluxcd.io/v1beta1
kind: Kustomization
metadata:
  name: apps
  namespace: flux-system
spec:
  interval: 10m0s
  dependsOn:
    - name: infrastructure
  sourceRef:
    kind: GitRepository
    name: flux-sytem
  path: ./apps/staging
  prune: true
  validation: client
---
apiVersion: kustomize.toolkit.fluxcd.io/v1beta1
kind: Kustomization
metadata:
  name: infrastructure
  namespace: flux-system
spec:
  interval: 10m0s
  sourceRef:
    kind: GitRepository
    name: flux-system
  path: ./infrastructure

请注意，使用 path: ./apps/staging 我们配置 Flux 以同步暂存 Kustomize 覆盖，并使用 dependsOn 我们告诉 Flux 在部署应用程序之前创建基础设施项。

在您的个人 GitHub 帐户上 Fork 此存储库并导出您的 GitHub access token、用户名和存储库名称：

export GITHUB_TOKEN=<your-token>
export GITHUB_USER=<your-username>
export GITHUB_REPO=<repository-name>

验证您的临时集群是否满足先决条件：

flux check --pre

将 kubectl context 设置为您的 staging 集群和 bootstrap Flux：

flux bootstrap github \
    --context=staging \
    --owner=${GITHUB_USER} \
    --repository=${GITHUB_REPO} \
    --branch=main \
    --personal \
    --path=clusters/staging

bootstrap 命令在 clusters/staging/flux-system 目录中提交 Flux 组件的清单，并在 GitHub 上创建一个具有只读访问权限的部署密钥，因此它可以在集群内拉取更改(pull changes)。

注意在 staging 上安装的 Helm releases：

$ watch flux get helmreleases --all-namespaces
NAMESPACE	NAME   	REVISION	SUSPENDED	READY	MESSAGE
nginx    	nginx  	5.6.14  	False    	True 	release reconciliation succeeded
podinfo  	podinfo	5.0.3   	False    	True 	release reconciliation succeeded
redis    	redis  	11.3.4  	False    	True 	release reconciliation succeeded

验证 demo app 是否可以通过 ingress 访问：

$ kubectl -n nginx port-forward svc/nginx-ingress-controller 8080:80 &

$ curl -H "Host: podinfo.staging" http://localhost:8080
{
  "hostname": "podinfo-59489db7b5-lmwpn",
  "version": "5.0.3"
}

通过设置生产集群的上下文和路径来引导生产上的 Flux：

flux bootstrap github \
    --context=production \
    --owner=${GITHUB_USER} \
    --repository=${GITHUB_REPO} \
    --branch=main \
    --personal \
    --path=clusters/production

监控 production reconciliation:

$ watch flux get kustomizations
NAME          	REVISION                                        READY
apps          	main/797cd90cc8e81feb30cfe471a5186b86daf2758d	True
flux-system   	main/797cd90cc8e81feb30cfe471a5186b86daf2758d	True
infrastructure	main/797cd90cc8e81feb30cfe471a5186b86daf2758d	True

加密 Kubernetes secrets

为了将 secrets 安全地存储在 Git 存储库中，

您可以使用 Mozilla 的 SOPS CLI 通过 OpenPGP 或 KMS 加密 Kubernetes secrets。

安装 gnupg 和 sops:

brew install gnupg sops

为 Flux 生成一个不指定密码短语(passphrase)的 GPG key，并获取GPG key ID：

$ gpg --full-generate-key
Email address: fluxcdbot@users.noreply.github.com

$ gpg --list-secret-keys fluxcdbot@users.noreply.github.com
sec   rsa3072 2020-09-06 [SC]
      1F3D1CED2F865F5E59CA564553241F147E7C5FA4

使用 private key 在集群上创建 Kubernetes secret：

gpg --export-secret-keys \
--armor 1F3D1CED2F865F5E59CA564553241F147E7C5FA4 |
kubectl create secret generic sops-gpg \
--namespace=flux-system \
--from-file=sops.asc=/dev/stdin

生成 Kubernetes secret manifest 并使用 sops 加密 secret 的数据字段：

kubectl -n redis create secret generic redis-auth \
--from-literal=password=change-me \
--dry-run=client \
-o yaml > infrastructure/redis/redis-auth.yaml

sops --encrypt \
--pgp=1F3D1CED2F865F5E59CA564553241F147E7C5FA4 \
--encrypted-regex '^(data|stringData)$' \
--in-place infrastructure/redis/redis-auth.yaml

添加 secret 到 infrastructure/redis/kustomization.yaml:

apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
namespace: redis
resources:
  - namespace.yaml
  - release.yaml
  - redis-auth.yaml

通过编辑 infrastructure.yaml 文件在集群上启用解密：

apiVersion: kustomize.toolkit.fluxcd.io/v1beta1
kind: Kustomization
metadata:
  name: infrastructure
  namespace: flux-system
spec:
  # content omitted for brevity
  decryption:
    provider: sops
    secretRef:
      name: sops-gpg

导出公钥(public key)，以便任何有权访问存储库的人都可以加密 secrets 但不能解密它们：

gpg --export -a fluxcdbot@users.noreply.github.com > public.key

将更改推送到主分支：

git add -A && git commit -m "add encrypted secret" && git push

验证是否已在两个集群的 redis 命名空间中创建了 secret：

kubectl --context staging -n redis get secrets
kubectl --context production -n redis get secrets

您可以使用 Kubernetes secrets 为您的 Helm releases 提供值：

apiVersion: helm.toolkit.fluxcd.io/v2beta1
kind: HelmRelease
metadata:
  name: redis
spec:
  # content omitted for brevity
  values:
    usePassword: true
  valuesFrom:
  - kind: Secret
    name: redis-auth
    valuesKey: password
    targetPath: password

在 docs 中了解有关 Helm releases values 覆盖的更多信息。

添加集群

如果要将集群添加到你的 fleet 中，请先在本地克隆存储库：

git clone https://github.com/${GITHUB_USER}/${GITHUB_REPO}.git
cd ${GITHUB_REPO}

使用您的集群名称在 clusters 中创建一个目录：

mkdir -p clusters/dev

从 staging 复制同步清单：

cp clusters/staging/infrastructure.yaml clusters/dev
cp clusters/staging/apps.yaml clusters/dev

您可以在 apps 内创建一个 dev overlay，确保将 clusters/dev/apps.yaml 内的 spec.path 更改为 path: ./apps/dev。

将更改推送到主分支：

git add -A && git commit -m "add dev cluster" && git push

将 kubectl 上下文和路径设置为您的 dev cluster 并引导 Flux：

flux bootstrap github \
    --context=dev \
    --owner=${GITHUB_USER} \
    --repository=${GITHUB_REPO} \
    --branch=main \
    --personal \
    --path=clusters/dev

相同的环境

如果你想启动一个相同的环境，你可以引导一个集群，例如 production-clone 并重用 production 定义。

引导 production-clone 集群：

flux bootstrap github \
    --context=production-clone \
    --owner=${GITHUB_USER} \
    --repository=${GITHUB_REPO} \
    --branch=main \
    --personal \
    --path=clusters/production-clone

在本地拉取更改：

git pull origin main

在 clusters/production-clone 目录中创建一个 kustomization.yaml：

apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
  - flux-system
  - ../production/infrastructure.yaml
  - ../production/apps.yaml

请注意，除了 flux-system kustomize overlay，我们还包括来自 production 目录的 infrastructure 和 apps 清单。

将更改推送到主分支：

git add -A && git commit -m "add production clone" && git push

告诉 Flux 在 production-clone 集群上部署生产工作负载(production workloads)：

flux reconcile kustomization flux-system \
    --context=production-clone \
    --with-source

我是为少
微信：uuhells123
公众号：黑客下午茶