helm,efk日志系统

helm:存放配单清单的   chart图表 chart仓库

chart,helm-->Tiller-->api server -->kube_cluster

chart--->release

helm:

核心术语

chart: 一个helm程序包，部署清单的定义，包含资源关系，镜像定义，并不包含镜像，

repository: chart仓库，存放chart的，就是一个https/http服务器

release:特定的chart部署于目标集群上的一个实例

chart -->configmap --> Relese

values.yaml

程序架构：

helm:客户端，管理本地chart仓库，管理chart,与Tiller服务器交互，用于发送chart,实例安装，查询，卸载等操作

Tiller:服务端  监听来自helm的请求，接收helm发来的chart与config,合并生成release;

部署helm

https://github.com/helm/helm/releases/tag/v2.9.1

mkdir helm && cd helm

tar xf helm-v2.9.1-linux-amd64.tar.gz && cd linux-amd64/

mv helm /usr/bin/

helm --help

 

部署Tiller

建议部署在k8s集群上

ls .kube/config 是kubectl的文件，能够被helm获取到

服务账号是tiller,需要很大权限，用clusterrolebing绑定在cluster-admin角色上

kubeadm安装方式强制启用了rbac

rbac文件:https://github.com/helm/helm/blob/master/docs/rbac.md

vim  tiller-rbac.yaml

apiVersion: v1

kind: ServiceAccount

metadata:

name: tiller

namespace: kube-system

---

apiVersion: rbac.authorization.k8s.io/v1

kind: ClusterRoleBinding

metadata:

name: tiller

roleRef:

apiGroup: rbac.authorization.k8s.io

kind: ClusterRole

name: cluster-admin

subjects:

- kind: ServiceAccount

name: tiller

namespace: kube-system

kubectl apply -f tiller-rbac.yaml

初始化helm

export NO_PROXY="172.20.0.0/16,127.0.0.0/8"

helm init --service-account tiller --upgrade --tiller-image=registry.cn-hangzhou.aliyuncs.com/google_containers/tiller:v2.11.0

kubectl get pods -n kube-system 看pods是否运行起来了

vim ~/.helm/repository/repositories.yaml

url: https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts  修改远程charts仓库

使用helm

source <(helm completion bash)  helm命令自动补全

helm  repo update  更新仓库

https://helm.sh 官方网站

https://hub.kubeapps.com 官方可用charts列表

helm repo list  查看可用仓库

helm search  列出可用charts

helm inspect stable/mysql 查看charts详细信息

charts名

安装运用

helm install --name mem1 stable/memcached

安装命名release   仓库名/安装的运用名

验证

kubectl get pods --namespace default -l "app=mem1-memcached" -o jsonpath="{.items[0].metadata.name}”

或 kubectl get pods

卸载运用

helm delete --help

helm delete mem1

查看release

helm list

helm list --all

滚动更新

helm upgrade

回滚

helm rollback

下载charts

helm fetch stable/mysql

release管理：install ,delete, upgrade/rollback ,list, histoty,status

charts管理: fetch,create,inspect,verify,package

每安装一个charts,都会下载 charts到 ~ .helm/cache/archive/这个目录

values.yaml  定义默认值 修改默认值并单独引用这个文件，则会生效

cp values.yaml  ~

vim values.yaml

replicaCount: 2  修改部署节点数

helm install --name mem3 stable/memcached -f values.yaml

对于redis

persistence:

enabled: false 关闭持久存储

annotations:

prometheus.io/scrape: "true"  允许prometheus抓取数据

charts介绍

https://helm.sh/docs/developing_charts/#charts

helm dep up foochart 下载依赖关系的chart

templates and values

模板语法:https://golang.org/pkg/text/template/

模板实例

apiVersion: v1

kind: ReplicationController

metadata:

name: deis-database

namespace: deis

labels:

app.kubernetes.io/managed-by: deis

spec:

replicas: 1

selector:

app.kubernetes.io/name: deis-database

template:

metadata:

labels:

app.kubernetes.io/name: deis-database

spec:

serviceAccount: deis-database

containers:

- name: deis-database

image: {{.Values.imageRegistry}}/postgres:{{.Values.dockerTag}}  .Value表示来自values.yaml这个文件 一级字段或二级字段

imagePullPolicy: {{.Values.pullPolicy}}

ports:

- containerPort: 5432

env:

- name: DATABASE_STORAGE

value: {{default "minio" .Values.storage}} 如果在values.yaml没有设置storage这个key,就用这个默认值

对应的values.yaml

imageRegistry: "quay.io/deis"

dockerTag: "latest"

pullPolicy: "Always"

storage: "s3"

内建变量

Predefined Values

可以使用自定义的文件

wordpress这个charts组成如下

wordpress:

Chart.yaml

requirements.yaml

# ...

charts/

apache/

Chart.yaml

# ...

mysql/

Chart.yaml

# ...

charts/  表示wordpress依赖这个chart目录下的chart

helm install --values=myvals.yaml wordpress

自定义模板参数或文件 安装wordpress这个chart

自定义chart

helm create myapp 自动生成myapp目录，即自动生成chart文件

myapp这个chart组成如下

myapp/

├── charts

├── Chart.yaml

├── templates

│   ├── deployment.yaml

│   ├── _helpers.tpl

│   ├── ingress.yaml

│   ├── NOTES.txt

│   └── service.yaml

└── values.yaml

vim Chart.yaml

apiVersion: v1

appVersion: "1.0"

description: A Helm chart for Kubernetes myapp chart

name: myapp

version: 0.0.1

maintainer:

- name: mageedu

email: mage@126.com

url: https://www.baidu.com

依赖其他charts的说明文件

vim requirements.yaml

cd templates/

NOTES.txt  release信息

_helpers.tpl 模板文件语法帮助

vim values.yaml

replicaCount: 2 以下为改动的地方

image:

repository: ikubernetes/myapp:v1

tag: v1

resources:

limits:

cpu: 100m

memory: 128Mi

requests:

cpu: 100m

memory: 128Mi

模板值语法检查

helm lint ../myapp

打包成charts

helm package --help

helm package myapp/

对myapp目录打包 没写路径，默认放在当前目录myapp-0.0.1.tgz

在当前存放charts的目录开启helm仓库服务

helm serve

打开另一终端测试

helm search myapp

修改NOTE.txt以便能正确显示release安装后信息

测试helm安装

helm install --name myapp local/myapp

release名  仓库名/charts名

helm delete --purge myapp1

删除release安装的pod同时也把release名也删除 这样release名就可以重复使用了

添加仓库

https://hub.kubeapps.com/charts/incubator

helm repo  add --help

helm repo  add stable1 https://kubernetes-charts.storage.googleapis.com

helm repo  add incubator https://storage.googleapis.com/kubernetes-charts-incubator

helm repo remove incubator  删除incubator仓库

EFK日志系统组件部署

部署elasticsearch

elasticsearch架构 data<-->master<--client

cd helm/

docker pull docker.elastic.co/elasticsearch/elasticsearch-oss:6.4.2 拖镜像

helm repo  add incubator https://storage.googleapis.com/kubernetes-charts-incubator

helm fetch incubator/elasticsearch

tar xf elasticsearch-1.10.2.tgz

cd elasticsearch/

vim values.yaml

appVersion: "6.2.4"

image:

repository: "docker.elastic.co/elasticsearch/elasticsearch-oss"

tag: "6.3.1"  版本 与kibana版本一致

cluster:

name: "elasticsearch"

config:

MINIMUM_MASTER_NODES: "1" 最少节点数

client:

name: client

replicas: 1 启用1个副本

master:

name: master

exposeHttp: false

persistence:

enabled: false

replicas: 1

data:

name: data

exposeHttp: false

persistence:

enabled: false 关闭持久存储

replicas: 1  根据node资源调整pod数量

kubectl create namespace efk

helm install --name els6 --namespace=efk -f values.yaml incubator/elasticsearch

els1-elasticsearch-client.efk.svc.cluster.local 服务访问入口

测试

kubectl run cirror-$RANDOM --rm -it --image=cirros -- /bin/sh 开启一个pod和终端

curl els6-elasticsearch-client.efk.svc.cluster.local

curl els6-elasticsearch-client.efk.svc.cluster.local:9200/_cat/nodes  查看有多少个节点

curl els6-elasticsearch-client.efk.svc.cluster.local:9200/_cat/indices  查看生成多少索引

部署fluentd-elasticsearch 收集工具

docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/fluentd-elasticsearch:v2.3.2 拖镜像

docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/fluentd-elasticsearch:v2.3.2 gcr.io/google-containers/fluentd-elasticsearch:v2.3.2 改镜像名

helm  fetch incubator/fluentd-elasticsearch

tar xf fluentd-elasticsearch-2.0.7.tgz && cd fluentd-elasticsearch/

elasticsearch:

host: 'els1-elasticsearch-client.efk.svc.cluster.local' 添加elasticsearch集群服务

podAnnotations:  添加被prometheus监控

prometheus.io/scrape: "true"

prometheus.io/port: "24231"

service:  添加监控的service

type: ClusterIP

ports:

- name: "monitor-agent"

port: 24231

tolerations:  添加master污点容忍

- key: node-role.kubernetes.io/master

operator: Exists

effect: NoSchedule

helm install --name flu1 --namespace=efk -f values.yaml incubator/fluentd-elasticsearch

部署kibana

helm fetch stable/kibana

tar xf kibana-0.2.2.tgz

cd kibana/

vim values.yaml

image:

repository: "docker.elastic.co/kibana/kibana-oss"

tag: "6.3.1" 版本 与elasticsearch版本一致

service:

type: NodePort

ELASTICSEARCH_URL: http://els6-elasticsearch-client.efk.svc.cluster.local:9200

helm install --name kib1 --namespace=efk -f values.yaml stable/kibana

release名   指定ns       指定自定义模板  仓库/charts名

测试

kubectl get svc -n efk

kib1-kibana   NodePort  10.105.194.250   <none>  443:30240/TCP

http://192.168.81.10:30240

匹配字段

logstash-*

@timestamp

最后点击 create index pattern