Ubuntu 14.04主机上部署k8s集群

部署结构

3台虚拟机，其中1台作为master，2台作为minion，都安装了最新版本的docker engine（目前是1.11.2)
k8s版本是1.3.0

主要问题

部署步骤基本按照官方文档：http://kubernetes.io/docs/getting-started-guides/ubuntu/，但是有两个主要问题

国内下载安装包太慢

安装脚本使用curl下载k8s的release tar包（1.3.0的release包有1.4G），经常timeout中断安装
GFW限制了对gcr.io的访问
k8s在创建Pod的时候，需要从gcr.io下载一个helper镜像（目前是 gcr.io/google_containers/pause-amd64:3.0 ）。这个问题会导致无法下载该镜像，然后Pod一直处于ContainerCreating状态。

这里主要介绍一下如何解决这两个问题。

部署步骤

1. 在部署机上下载k8s，并编译。

部署机需要安装docker engine(1.11.2)和go(1.6.2)

$git clone https://github.com/kubernetes/kubernetes.git

$cd kubernetes

$make release-skip-tests

$mv _output/release-stage/full/kubernetes/server/kubernetes-server-linux-amd64.tar.gz cluster/ubuntu/

Note

除了linux/amd64，默认还会为其他平台做交叉编译。为了减少编译时间，可以修改hack/lib/golang.sh，把KUBE_SERVER_PLATFORMS， KUBE_CLIENT_PLATFORMS和KUBE_TEST_PLATFORMS中除linux/amd64以外的其他平台注释掉。

2. 下载etcd,flannel安装包

$ETCD_VERSION=${ETCD_VERSION:-"2.3.1"}

$ETCD="etcd-v${ETCD_VERSION}-linux-amd64"

$curl -L https://github.com/coreos/etcd/releases/download/v${ETCD_VERSION}/${ETCD}.tar.gz -o cluster/ubuntu/etcd.tar.gz

$FLANNEL_VERSION=${FLANNEL_VERSION:-"0.5.5"}

$curl -L  https://github.com/coreos/flannel/releases/download/v${FLANNEL_VERSION}/flannel-${FLANNEL_VERSION}-linux-amd64.tar.gz -o cluster/ubuntu/flannel.tar.gz

3. 解压缩安装包

$cd cluster/ubuntu

$mkdir -p binaries/master

$mkdir -p binaries/minion

$ tar xzf etcd.tar.gz

$ cp ${ETCD}/etcd ${ETCD}/etcdctl binaries/master

$ echo ${ETCD_VERSION} > binaries/.etcd

$tar xzf flannel.tar.gz

$cp flannel-${FLANNEL_VERSION}/flanneld binaries/master

$cp flannel-${FLANNEL_VERSION}/flanneld binaries/minion

$echo ${FLANNEL_VERSION} > binaries/.flannel

$KUBE_VERSION=1.3.0

$tar xzf kubernetes-server-linux-amd64.tar.gz

$cp kubernetes/server/bin/kube-apiserver kubernetes/server/bin/kube-controller-manager kubernetes/server/bin/kube-scheduler binaries/master

$cp kubernetes/server/bin/kubelet kubernetes/server/bin/kube-proxy binaries/minion

$cp kubernetes/server/bin/kubectl binaries/

$echo ${KUBE_VERSION} > binaries/.kubernetes

4. 安装

$ cd ../

$export nodes="ubuntu@10.1.9.2 ubuntu@10.1.9.3 ubuntu@10.1.9.4"

$export role="ai i i"

$export NUM_NODES=${NUM_NODES:-3}

$export SERVICE_CLUSTER_IP_RANGE=192.168.3.0/24

$export FLANNEL_NET=172.16.0.0/16

$KUBERNETES_PROVIDER=ubuntu ./kube-up.sh

5. 解决不能从gcr.io下载pause-amd64:3.0 镜像的问题

1) 在可以访问gcr.io的地方

docker pull gcr.io/google_containers/pause-amd64:3.0

传到私有docker registry

docker tag gcr.io/google_containers/pause-amd64:3.0 k8s-docker.mydomain.com/google_containers/pause-amd64:3.0

docker push k8s-docker.mydomain.com/google_containers/pause-amd64:3.0

2) 在所有的k8s节点

docker pull k8s-docker.mydomain.com/google_containers/pause-amd64:3.0

docker tag k8s-docker.mydomain.com/google_containers/pause-amd64:3.0 gcr.io/google_containers/pause-amd64:3.0

Note

不通过私有registry中转，而是使用docker save/load应该也可以，只是要把save导出的文件复制到所有节点