在Centos7上部署kubernetes时，碰到很多坑，特别在摸拟在内网部署时，有来自GFW的障碍，有来自Firewalld的阻塞，反正是各种不服，终于慢慢理顺了思路，自己记录一下，防止遗忘。

环境为Centos7, 准备VMWare快照, 快照环境如下：

  • 安装好 CentOS7

    1
    2
    3
    4
    5
    6
    7
    yum -y install wget vim net-tools traceroute #安装常用工具
    yum -y kubernetes flannel #安装kubernetes组件及flannel网络组件
    #以下为kubernetes准备gcr镜像
    systemctl start docker
    docker pull hub.c.163.com/combk8s/pause:0.8.0
    docker tag hub.c.163.com/combk8s/pause:0.8.0 gcr.io/google_containers/pause:0.8.0
    docker rmi hub.c.163.com/combk8s/pause:0.8.0

  • 关机制作快照

部署思路是：master机器可以访问公网，并且作为网关，其它机器都在内网，因此master机器有两张网卡，其它机器与master机器的内网网卡相联
从快照中克隆4台机器，配置如下：

第一台机器 k8s-master，配置成为访问网关

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
# 机器 k8s-master, 此台机器除了作为 master 本身，还承担网关的职能
# VM中公网网卡连接方式：桥接, 对应centos系统中的网卡 eno16777736
# VM中私网网卡连接方式：仅主机模式，对应Centos系统中的网卡 eno33554984
# 由于在 k8s-master 机器中, eno33554984 连接其它机器的内网网卡，所以这张网卡需要标为 ZONE=trusted，确保防火墙不干扰内网数据
 
# eno16777736网卡配置
TYPE="Ethernet"
NAME="eno16777736"
UUID="8b130f48-94d8-4d4c-a6b0-128a36448a6a"
DEVICE="eno16777736"
IPADDR="192.168.206.30"
PERFIX="24"
GATEWAY="192.168.206.1"
DNS1="192.168.205.12"
ONBOOT="yes"
 
# eno33554984网卡配置
TYPE="Ethernet"
NAME="eno33554984"
DEVICE="eno33554984"
IPADDR="192.168.127.1"
PERFIX="24"
ONBOOT="yes"
ZONE=trusted
 
#开启 k8s-master的路由功能
echo "net.ipv4.ip_forward=1" >> /etc/sysctl.conf
sysctl -p
 
#允许SNAT转发上网
firewall-cmd --permanent --zone=public --add-masquerade
firewall-cmd --reload


第二台机器 k8s-etcd，安装ETCD服务

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
# 机器 k8s-etcd，此台机器承担etcd存储服务，仅有一张网卡
# VM中私网网卡连接方式：仅主机模式，对应Centos系统中的网卡 eno16777736
 
# eno16777736网卡配置
TYPE="Ethernet"
NAME="eno16777736"
DEVICE="eno16777736"
IPADDR="192.168.127.2"
PERFIX="24"
GATEWAY="192.168.127.1"
DNS1="192.168.205.12"
ONBOOT="yes"
 
#安装etcd
yum -y install etcd
#修改ETCD配置
vim /etc/etcd/etcd.conf
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.127.2:2379"
 
#接下来，为flannel网络产生配置文件，该配置文件用来设置kubernetes中虚拟子网的网段
vim flannel-config.json #文件内容如下
{
  "Network":"10.0.0.0/16",
  "SubnetLen":24,
  "Backend":{
    "Type":"vxlan",
    "VNI":1
  }
}
 
#将配置文件存储到ETCD对应的键上
etcdctl set atomic.io/network/config < flannel-config.json


第一台机器 k8s-master，配置成为Kube-master

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# 机器 k8-master，此台机器承担kube-master服务
# kube-master服务主要包含以下组件
# 1. kube-apiserver
# 2. kube-controller-manager
# 3. kube-scheduler
# 4. flannel 网络
 
# 首先来配置flannel网络，使flannel网络配置从etcd服务器读取
vim /etc/sysconfig/flanneld
FLANNEL_ETCD="http://192.168.127.2:2379" 
FLANNEL_ETCD_KEY="/atomic.io/network"
# 启动flannel网络，如果之前已经启动了docker，需要先关闭docker
systemctl enable flanneld
systemctl start flanneld
 
# 配置 kube-apiserver
vim /etc/kubernetes/apiserver
KUBE_API_ADDRESS="--address=0.0.0.0"
KUBE_ETCD_SERVERS="--etcd-servers=http://192.168.127.2:2379"
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.0.0.0/16"
KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"
# 由于是部署在内网，所以KUBE_ADMISSION_CONTROL中去掉了ServiceAccount的鉴权方式
 
# 接下来启动服务
systemctl enable kube-apiserver kube-controller-manager kube-scheduler
systemctl start kube-apiserver kube-controller-manager kube-scheduler


第三台机器 k8s-node1，配置成为Kubelet节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
# 机器 k8s-node1，此台机器承担kubernetes节点服务，仅有一张网卡
# VM中私网网卡连接方式：仅主机模式，对应Centos系统中的网卡 eno16777736
# eno16777736网卡配置
TYPE="Ethernet"
NAME="eno16777736"
DEVICE="eno16777736"
IPADDR="192.168.127.3"
PERFIX="24"
GATEWAY="192.168.127.1"
DNS1="192.168.205.12"
ONBOOT="yes"
 
# 首先来配置flannel网络，使flannel网络配置从etcd服务器读取
vim /etc/sysconfig/flanneld
FLANNEL_ETCD="http://192.168.127.2:2379" 
FLANNEL_ETCD_KEY="/atomic.io/network"
 
#hostname 配置
hostnamectl set-hostname k8s-node1
 
#kubernetes config 文件配置
vim /etc/kubernetes/config
KUBE_MASTER="--master=http://192.168.127.1:8080"
   
#kubernetes kubelet 文件配置
vim /etc/kubernetes/kubelet
KUBELET_ADDRESS="--address=0.0.0.0"
KUBELET_HOSTNAME="--hostname-override=k8s-node1"
KUBELET_API_SERVER="--api-servers=http://192.168.127.1:8080"
 
#启动kubelet
systemctl enable docker kubelet
systemctl start docker kubelet


第四台机器 k8s-node2，配置成为Kubelet节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
# 机器 k8s-node2，此台机器承担kubernetes节点服务，仅有一张网卡
# VM中私网网卡连接方式：仅主机模式，对应Centos系统中的网卡 eno16777736
  
# eno16777736网卡配置
TYPE="Ethernet"
NAME="eno16777736"
DEVICE="eno16777736"
IPADDR="192.168.127.4"
PERFIX="24"
GATEWAY="192.168.127.1"
DNS1="192.168.205.12"
ONBOOT="yes"
  
# 首先来配置flannel网络，使flannel网络配置从etcd服务器读取
vim /etc/sysconfig/flanneld
FLANNEL_ETCD="http://192.168.127.2:2379"  
FLANNEL_ETCD_KEY="/atomic.io/network"
  
#hostname 配置
hostnamectl set-hostname k8s-node2
  
#kubernetes config 文件配置
vim /etc/kubernetes/config
KUBE_MASTER="--master=http://192.168.127.1:8080"
  
#kubernetes kubelet 文件配置
vim /etc/kubernetes/kubelet
KUBELET_ADDRESS="--address=0.0.0.0"
KUBELET_HOSTNAME="--hostname-override=k8s-node2"
KUBELET_API_SERVER="--api-servers=http://192.168.127.1:8080"
  
#启动kubelet
systemctl enable docker kubelet
systemctl start docker kubelet


验证节点是否可用，在k8s-master上执行命令

1
2
3
4
[root@k8s-master ~]# kubectl get node
NAME        STATUS    AGE
k8s-node1   Ready     3h
k8s-node2   Ready     3h


 
 
 
 

kubernetes 内网节点部署笔记（一）的更多相关文章

  1. EOS主网节点部署

    EOS主网节点部署 #环境 ubuntu 16.4 EOS编译安装 EOS主网节点部署 eos区块查询.进程监控shell #EOS编译安装 #环境 ubuntu 16.4 # EOS安装部 # 以下 ...

  2. k8s内网安装部署（二）

    续上篇 https://www.cnblogs.com/wangql/p/13397034.html 一.kubeadm安装 1.kube-proxy开启ipvs的前置条件 modprobe br_n ...

  3. yum仓库配置与内网源部署记录

    使用yum的好处主要就是在于能够自动解决软件包之间的依赖.这使得维护更加容易.这篇文章主要就是记录部署内网源的操作过程以及yum工具如何使用 因为需要.数据库要从Oracle迁移至MySQL.在部署M ...

  4. 基于C#的内网穿透学习笔记（附源码）

    如何让两台处在不同内网的主机直接互连?你需要内网穿透!          上图是一个非完整版内外网通讯图由内网端先发起,内网设备192.168.1.2:6677发送数据到外网时候必须经过nat会转换成 ...

  5. Linux系统如何在离线环境或内网环境安装部署Docker服务和其他服务

    如何在离线环境或纯内网环境的Linux机器上安装部署Docker服务或其他服务.本次我们以Docker服务和Ansible服务为例. 获取指定服务的所有rpm包 保证要获取rpm包的机器能够上网. 本 ...

  6. frp 用于内网穿透的基本配置和使用

    frp 用于内网穿透的基本配置和使用 今天是端午节,先祝端午安康! frp 是一个专注于内网穿透的高性能的反向代理应用,支持 TCP.UDP.HTTP.HTTPS 等多种协议.可以将内网服务以安全.便 ...

  7. 工具篇：使用natapp工具映射内网到外网访问

    一.环境说明 开发基于微信公众号的应用最大的痛苦之处就是调试问题,每次实现一个功能后都需要部署到一个公网服务器进行测试,因为微信用户每次向公众号发起请求时,微信服务器会先接收到用户的请求,然后再转发到 ...

  8. 内网网络摄像机（RTSP/IPC/NVR）如何能在公网进行RTMP/HLS/HTTP-FLV直播

    一.背景需求 传统监控行业里不管是设备端.服务器端亦或是客户端都在一个内网里面.而且现在的大部分监控方案都是这样的格局,小到一个公司范围内的监控,再到一个园区.一个仓库监控.一个农业园林监控.一个养殖 ...

  9. 使用kubernetes 官网工具kubeadm部署kubernetes(使用阿里云镜像)

    系列目录 kubernetes简介 Kubernetes节点架构图: kubernetes组件架构图: 准备基础环境 我们将使用kubeadm部署3个节点的 Kubernetes Cluster,整体 ...

随机推荐

  1. Techparty-广州 10 月 31 日 Docker 专场沙龙 后记

    华为的童鞋技术能力很强,但是两位讲师的都没听进去.重点听了两个,一个是芒果TV的Docker 之路,另一个是Coding的实践和思考. 芒果TV的主讲人是一直仰慕的CMGS,从豆瓣出来后去了国企芒果台 ...

  2. 1password密码库格式更新

    由于国内网络安全做的太差,经常发生被脱裤的事件,比如最近的网易邮箱(via 乌云),所以只好用1password这类密码管理软件,实现一站一密.昨晚半夜冻醒了,刷推刷到了这个:1password-le ...

  3. MATLAB中fft函数的正确使用方法

    问题来源:在阅读莱昂斯的<数字信号处理>第三章离散傅里叶变换时,试图验证实数偶对称信号的傅里叶变换实部为偶对称的且虚部为零.验证失败.验证信号为矩形信号,结果显示虚部是不为零且最大幅值等于 ...

  4. MFC下OpenGL入门(可以用）

    MFC下OpenGL入门 源文件 1, 建一工程文件,我这里命名为first,现在first工程里面我们没有添加任何东西,所有的东西都是MFC自动帮我们创建的. 2, 添加链接库.这一步很关键.打开菜 ...

  5. Flex 关闭浏览器

    在Actionscript 2及以前,要打开任何网址,只需调用全局函数getURL()即可.在Actionscript 3中,已经取消了getURL()这个全局函数,取而代之的是flash.net包中 ...

  6. HTML5，jQuery，ajax基础面试

    简要描述HTML5中的本地存储 答案: 很多时候我们会存储用户本地信息到电脑上,例如:比方说用户有一个填充了一半的长表格,然后突然网络连接断开了,这样用户希望你能存储这些信息到本地,当网络回复的时候, ...

  7. aes rsa加密

    aes在加密时,若加密字符串的长度不是16,则会在后面加0x00补足16位,所以在解密后还应该去除0x00 小于16字节的原文会得到16字节长度的密文,小于32字节的原文会得到32字节长度的密文,大于 ...

  8. [java]wordcount程序

    词数统计系统. 作业解析:这次作业的内容是从本地读取一个程序代码,计算出这个程序中的行数,单词数,也可进行拓展. 实现语言:java 编程思路: 程序是由各种单词和符号组成的,单词包括关键字,标识符这 ...

  9. Spring+SpringMVC+Mybatis大整合（SpringMVC采用REST风格、mybatis采用Mapper代理）

    整体目录结构: 其中包下全部是采用mybatis自动生成工具生成. mybatis自动生成文件 <?xml version="1.0" encoding="UTF- ...

  10. Uncaught exception 'PDOException' with message 'SQLSTATE[HY000] [2002] No such file or directory'

    1.根本原因在http://askubuntu.com/questions/606732/php-fatal-error-uncaught-exception-pdoexception-with-me ...