kubernetes---ConfigMap管理应用配置

1.拆分环境

主机名	角色	ip
hdss7-11.host.com	zk1.od.com(Test环境)	10.4.7.11
hdss7-12.host.com	zk2.od.com(Prod环境)	10.4.7.12

2.重配zookeeper

hdss7-11和hdss7-12上拆分成两个单独的zookeeper，不组成集群

[root@hdss7-11 bin]# ./zkServer.sh stop
[root@hdss7-12 bin]# ./zkServer.sh stop
[root@hdss7-11 zookeeper]# tree  /data/zookeeper         /删除data和logs下所有文件
.
├── data
└── logs
2 directories, 0 files
[root@hdss7-12 zookeeper]# tree  /data/zookeeper         /删除data和logs下所有文件
.
├── data
└── logs
2 directories, 0 files

[root@hdss7-11 bin]# vi /opt/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/data
dataLogDir=/data/zookeeper/logs
clientPort=2181

[root@hdss7-12 bin]# vi /opt/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/data
dataLogDir=/data/zookeeper/logs
clientPort=2181

[root@hdss7-11 bin]# ./zkServer.sh start

[root@hdss7-12 bin]# ./zkServer.sh start

[root@hdss7-11 bin]# ./zkServer.sh status
Mode: standalone
[root@hdss7-12 bin]# ./zkServer.sh status
Mode: standalone

3.准备资源配置清单（dubbo-monitor）

在运维主机hdss7-200上

[root@hdss7-200 dubbo-monitor]# pwd
/data/k8s-yaml/dubbo-monitor
[root@hdss7-200 dubbo-monitor]# vi cm.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: dubbo-monitor-cm
  namespace: infra
data:
  dubbo.properties: |
    dubbo.container=log4j,spring,registry,jetty
    dubbo.application.name=simple-monitor
    dubbo.application.owner=OldboyEdu
    dubbo.registry.address=zookeeper://zk1.od.com:2181
    dubbo.protocol.port=20880
    dubbo.jetty.port=8080
    dubbo.jetty.directory=/dubbo-monitor-simple/monitor
    dubbo.charts.directory=/dubbo-monitor-simple/charts
    dubbo.statistics.directory=/dubbo-monitor-simple/statistics
    dubbo.log4j.file=/dubbo-monitor-simple/logs/dubbo-monitor.log
    dubbo.log4j.level=WARN

[root@hdss7-200 dubbo-monitor]# vi dp2.yaml
kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  name: dubbo-monitor
  namespace: infra
  labels:
    name: dubbo-monitor
spec:
  replicas: 1
  selector:
    matchLabels:
      name: dubbo-monitor
  template:
    metadata:
      labels:
        app: dubbo-monitor
        name: dubbo-monitor
    spec:
      containers:
      - name: dubbo-monitor
        image: harbor.od.com/infra/dubbo-monitor:latest
        ports:
        - containerPort: 8080
          protocol: TCP
        - containerPort: 20880
          protocol: TCP
        imagePullPolicy: IfNotPresent
        volumeMounts:
          - name: configmap-volume
            mountPath: /dubbo-monitor-simple/conf
      volumes:
        - name: configmap-volume
          configMap:
            name: dubbo-monitor-cm
      imagePullSecrets:
      - name: harbor
      restartPolicy: Always
      terminationGracePeriodSeconds: 30
      securityContext:
        runAsUser: 0
      schedulerName: default-scheduler
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 1
      maxSurge: 1
  revisionHistoryLimit: 7
  progressDeadlineSeconds: 600

4.应用资源配置清单

任意运算节点上，这里为hdss7-21

[root@hdss7-21 bin]# kubectl apply -f http://k8s-yaml.od.com/dubbo-monitor/cm.yaml
configmap/dubbo-monitor-cm created
[root@hdss7-21 bin]# kubectl apply -f http://k8s-yaml.od.com/dubbo-monitor/dp2.yaml
deployment.extensions/dubbo-monitor configured

5.重新发版，修改dubbo项目的配置文件

可以看到registry现在是zk1.od.com

修改configmap并重启pod

step1：编辑configmap



step2：修改 dubbo.registry.address=zookeeper://zk2.od.com:2181

step3：重启pod

6.验证configmap的配置

访问dubbo-monitor.od.com

dashboard里进pod查看：

7.kubectl陈述式方式创建ConfigMap

• 例如 kebelet.kubeconfig这种配置文件，如果写进yaml文件会很恶心，尤其是空格要求很严格，这时候我们就需要用到kubectl方式创建configmap

//创建
[root@hdss7-21 ~]# kubectl create cm kubelet-cm --from-file=/opt/kubernetes/server/bin/conf/kubelet.kubeconfig -n default
configmap/kubelet-cm created

//查看
[root@hdss7-21 ~]# kubectl get cm kubelet-cm -n default
NAME         DATA   AGE
kubelet-cm   1      56s
[root@hdss7-21 ~]# kubectl get cm kubelet-cm -o yaml -n default
apiVersion: v1
data:
  kubelet.kubeconfig: |
    apiVersion: v1
    clusters:
    - cluster:
    。。。略

dashboard查看：

8.大型翻车现场----flannel

问题产生原因：

- 启动flanel网络的时候，没有读取到 subnet.env的环境变量 FLANNEL_SUBNET

问题发生过程：

• 1  启动flanel 没有读取到子网的信息，导致flannel 认为先前的子网为 None，触发xx机制，使用随机分配子网的方式
  
  Wrote subnet file to /run/flannel/subnet.env  此句是没有读取到脚本中的subne.env 会在此目录下生成一个
  
  Wrote subnet file to ./subnet.env 如果读取到会在你的配置下重点 重写这个文件，所以所你启动以后，这个文件是要被重写的，里面配置的内容只是起个引导作用，认为你上一次用的网络是你配置文件中的网络
• 2 将随机分配的网络写入ETCD数据库
  
  coreos.com/network/subnets/172.7.204.0-24    后边的地址是route -n 能看到的地址
• 3 如果数据库中存在数据，不会读取 subnet.env中的数据，会直接读取ETCD中的数据
  
  我测试了删除整个文件，里边所有数据都会生成，
  
  172.7.204.1/24 这个是根据 /coreos.com/network/subnets/172.7.204.0-24 这个key 下的这个数据生成的
  
  FLANNEL_NETWORK=172.7.0.0/16  这个数据还没有找到生成的key 我手动修改了network的配置，但是还是没有成功
• 4 配置 etcdkeeper
  
  1 下载:https://github.com/evildecay/etcdkeeper/releases地址
  
  2 在etcd服务器解压
  
  3 chmod +x etcdkeeper
  
  4 ./etcdkeeper -h 0.0.0.0 -p 8800 直接在前台运行
  
  5 在浏览器查看数据
  
  6 kubernetes 使用的是etcd v3 协议 flanel 使用的是 etcd v2 协议，要注意选择协议版本

建议

• node 节点的路由信息，直接写入etcd 不使用配置文件配置!