在Centos7上部署kubernetes时，碰到很多坑，特别在摸拟在内网部署时，有来自GFW的障碍，有来自Firewalld的阻塞，反正是各种不服，终于慢慢理顺了思路，自己记录一下，防止遗忘。

环境为Centos7, 准备VMWare快照, 快照环境如下：

  • 安装好 CentOS7

    1
    2
    3
    4
    5
    6
    7
    yum -y install wget vim net-tools traceroute #安装常用工具
    yum -y kubernetes flannel #安装kubernetes组件及flannel网络组件
    #以下为kubernetes准备gcr镜像
    systemctl start docker
    docker pull hub.c.163.com/combk8s/pause:0.8.0
    docker tag hub.c.163.com/combk8s/pause:0.8.0 gcr.io/google_containers/pause:0.8.0
    docker rmi hub.c.163.com/combk8s/pause:0.8.0

  • 关机制作快照

部署思路是：master机器可以访问公网，并且作为网关，其它机器都在内网，因此master机器有两张网卡，其它机器与master机器的内网网卡相联
从快照中克隆4台机器，配置如下：

第一台机器 k8s-master，配置成为访问网关

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
# 机器 k8s-master, 此台机器除了作为 master 本身，还承担网关的职能
# VM中公网网卡连接方式：桥接, 对应centos系统中的网卡 eno16777736
# VM中私网网卡连接方式：仅主机模式，对应Centos系统中的网卡 eno33554984
# 由于在 k8s-master 机器中, eno33554984 连接其它机器的内网网卡，所以这张网卡需要标为 ZONE=trusted，确保防火墙不干扰内网数据
 
# eno16777736网卡配置
TYPE="Ethernet"
NAME="eno16777736"
UUID="8b130f48-94d8-4d4c-a6b0-128a36448a6a"
DEVICE="eno16777736"
IPADDR="192.168.206.30"
PERFIX="24"
GATEWAY="192.168.206.1"
DNS1="192.168.205.12"
ONBOOT="yes"
 
# eno33554984网卡配置
TYPE="Ethernet"
NAME="eno33554984"
DEVICE="eno33554984"
IPADDR="192.168.127.1"
PERFIX="24"
ONBOOT="yes"
ZONE=trusted
 
#开启 k8s-master的路由功能
echo "net.ipv4.ip_forward=1" >> /etc/sysctl.conf
sysctl -p
 
#允许SNAT转发上网
firewall-cmd --permanent --zone=public --add-masquerade
firewall-cmd --reload


第二台机器 k8s-etcd，安装ETCD服务

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
# 机器 k8s-etcd，此台机器承担etcd存储服务，仅有一张网卡
# VM中私网网卡连接方式：仅主机模式，对应Centos系统中的网卡 eno16777736
 
# eno16777736网卡配置
TYPE="Ethernet"
NAME="eno16777736"
DEVICE="eno16777736"
IPADDR="192.168.127.2"
PERFIX="24"
GATEWAY="192.168.127.1"
DNS1="192.168.205.12"
ONBOOT="yes"
 
#安装etcd
yum -y install etcd
#修改ETCD配置
vim /etc/etcd/etcd.conf
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.127.2:2379"
 
#接下来，为flannel网络产生配置文件，该配置文件用来设置kubernetes中虚拟子网的网段
vim flannel-config.json #文件内容如下
{
  "Network":"10.0.0.0/16",
  "SubnetLen":24,
  "Backend":{
    "Type":"vxlan",
    "VNI":1
  }
}
 
#将配置文件存储到ETCD对应的键上
etcdctl set atomic.io/network/config < flannel-config.json


第一台机器 k8s-master，配置成为Kube-master

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# 机器 k8-master，此台机器承担kube-master服务
# kube-master服务主要包含以下组件
# 1. kube-apiserver
# 2. kube-controller-manager
# 3. kube-scheduler
# 4. flannel 网络
 
# 首先来配置flannel网络，使flannel网络配置从etcd服务器读取
vim /etc/sysconfig/flanneld
FLANNEL_ETCD="http://192.168.127.2:2379" 
FLANNEL_ETCD_KEY="/atomic.io/network"
# 启动flannel网络，如果之前已经启动了docker，需要先关闭docker
systemctl enable flanneld
systemctl start flanneld
 
# 配置 kube-apiserver
vim /etc/kubernetes/apiserver
KUBE_API_ADDRESS="--address=0.0.0.0"
KUBE_ETCD_SERVERS="--etcd-servers=http://192.168.127.2:2379"
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.0.0.0/16"
KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"
# 由于是部署在内网，所以KUBE_ADMISSION_CONTROL中去掉了ServiceAccount的鉴权方式
 
# 接下来启动服务
systemctl enable kube-apiserver kube-controller-manager kube-scheduler
systemctl start kube-apiserver kube-controller-manager kube-scheduler


第三台机器 k8s-node1，配置成为Kubelet节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
# 机器 k8s-node1，此台机器承担kubernetes节点服务，仅有一张网卡
# VM中私网网卡连接方式：仅主机模式，对应Centos系统中的网卡 eno16777736
# eno16777736网卡配置
TYPE="Ethernet"
NAME="eno16777736"
DEVICE="eno16777736"
IPADDR="192.168.127.3"
PERFIX="24"
GATEWAY="192.168.127.1"
DNS1="192.168.205.12"
ONBOOT="yes"
 
# 首先来配置flannel网络，使flannel网络配置从etcd服务器读取
vim /etc/sysconfig/flanneld
FLANNEL_ETCD="http://192.168.127.2:2379" 
FLANNEL_ETCD_KEY="/atomic.io/network"
 
#hostname 配置
hostnamectl set-hostname k8s-node1
 
#kubernetes config 文件配置
vim /etc/kubernetes/config
KUBE_MASTER="--master=http://192.168.127.1:8080"
   
#kubernetes kubelet 文件配置
vim /etc/kubernetes/kubelet
KUBELET_ADDRESS="--address=0.0.0.0"
KUBELET_HOSTNAME="--hostname-override=k8s-node1"
KUBELET_API_SERVER="--api-servers=http://192.168.127.1:8080"
 
#启动kubelet
systemctl enable docker kubelet
systemctl start docker kubelet


第四台机器 k8s-node2，配置成为Kubelet节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
# 机器 k8s-node2，此台机器承担kubernetes节点服务，仅有一张网卡
# VM中私网网卡连接方式：仅主机模式，对应Centos系统中的网卡 eno16777736
  
# eno16777736网卡配置
TYPE="Ethernet"
NAME="eno16777736"
DEVICE="eno16777736"
IPADDR="192.168.127.4"
PERFIX="24"
GATEWAY="192.168.127.1"
DNS1="192.168.205.12"
ONBOOT="yes"
  
# 首先来配置flannel网络，使flannel网络配置从etcd服务器读取
vim /etc/sysconfig/flanneld
FLANNEL_ETCD="http://192.168.127.2:2379"  
FLANNEL_ETCD_KEY="/atomic.io/network"
  
#hostname 配置
hostnamectl set-hostname k8s-node2
  
#kubernetes config 文件配置
vim /etc/kubernetes/config
KUBE_MASTER="--master=http://192.168.127.1:8080"
  
#kubernetes kubelet 文件配置
vim /etc/kubernetes/kubelet
KUBELET_ADDRESS="--address=0.0.0.0"
KUBELET_HOSTNAME="--hostname-override=k8s-node2"
KUBELET_API_SERVER="--api-servers=http://192.168.127.1:8080"
  
#启动kubelet
systemctl enable docker kubelet
systemctl start docker kubelet


验证节点是否可用，在k8s-master上执行命令

1
2
3
4
[root@k8s-master ~]# kubectl get node
NAME        STATUS    AGE
k8s-node1   Ready     3h
k8s-node2   Ready     3h


 
 
 
 

kubernetes 内网节点部署笔记（一）的更多相关文章

  1. EOS主网节点部署

    EOS主网节点部署 #环境 ubuntu 16.4 EOS编译安装 EOS主网节点部署 eos区块查询.进程监控shell #EOS编译安装 #环境 ubuntu 16.4 # EOS安装部 # 以下 ...

  2. k8s内网安装部署（二）

    续上篇 https://www.cnblogs.com/wangql/p/13397034.html 一.kubeadm安装 1.kube-proxy开启ipvs的前置条件 modprobe br_n ...

  3. yum仓库配置与内网源部署记录

    使用yum的好处主要就是在于能够自动解决软件包之间的依赖.这使得维护更加容易.这篇文章主要就是记录部署内网源的操作过程以及yum工具如何使用 因为需要.数据库要从Oracle迁移至MySQL.在部署M ...

  4. 基于C#的内网穿透学习笔记（附源码）

    如何让两台处在不同内网的主机直接互连?你需要内网穿透!          上图是一个非完整版内外网通讯图由内网端先发起,内网设备192.168.1.2:6677发送数据到外网时候必须经过nat会转换成 ...

  5. Linux系统如何在离线环境或内网环境安装部署Docker服务和其他服务

    如何在离线环境或纯内网环境的Linux机器上安装部署Docker服务或其他服务.本次我们以Docker服务和Ansible服务为例. 获取指定服务的所有rpm包 保证要获取rpm包的机器能够上网. 本 ...

  6. frp 用于内网穿透的基本配置和使用

    frp 用于内网穿透的基本配置和使用 今天是端午节,先祝端午安康! frp 是一个专注于内网穿透的高性能的反向代理应用,支持 TCP.UDP.HTTP.HTTPS 等多种协议.可以将内网服务以安全.便 ...

  7. 工具篇：使用natapp工具映射内网到外网访问

    一.环境说明 开发基于微信公众号的应用最大的痛苦之处就是调试问题,每次实现一个功能后都需要部署到一个公网服务器进行测试,因为微信用户每次向公众号发起请求时,微信服务器会先接收到用户的请求,然后再转发到 ...

  8. 内网网络摄像机（RTSP/IPC/NVR）如何能在公网进行RTMP/HLS/HTTP-FLV直播

    一.背景需求 传统监控行业里不管是设备端.服务器端亦或是客户端都在一个内网里面.而且现在的大部分监控方案都是这样的格局,小到一个公司范围内的监控,再到一个园区.一个仓库监控.一个农业园林监控.一个养殖 ...

  9. 使用kubernetes 官网工具kubeadm部署kubernetes(使用阿里云镜像)

    系列目录 kubernetes简介 Kubernetes节点架构图: kubernetes组件架构图: 准备基础环境 我们将使用kubeadm部署3个节点的 Kubernetes Cluster,整体 ...

随机推荐

  1. python 抓取百度音乐

    # coding:utf-8 import urllib2 import re import urllib import chardet from json import * category = ' ...

  2. 集成ShareSDK，分享成功后QQ和空间回调不执行的可能原因

    AndroidMainifest.xml中的如箭头所示的id与assets下ShareSDK.xml中配置的QQ的AppId一定要相同.

  3. php部分---PDO;

    PDO数据访问抽象层 PDO的三个功能: 1.操作其它数据库2.事务功能3.防止SQL注入攻击 操作数据库: 造PDO对象 //$dsn = "mysql:dbname=mydb;host= ...

  4. css高级

    1.复杂选择器 1.作用 匹配 页面的元素 ... ... 2.选择器分类 1.兄弟选择器 1.作用 通过 元素的位置关系匹配元素 位置关系:兄弟关系(平级元素) <div> <p ...

  5. Sequential List

    Sequential ListSequential list storage structure:#define LIST_INIT_SIZE 20 #define LIST_INCREASE 10t ...

  6. 文件操作 模式r+与w+

    r+与w+ r+是读写模式,在文件的末尾进行追加操作. >>> myfile=open('pwd.txt', ... 'r+') >>> myfile.read() ...

  7. AJAX 状态值(readyState)与状态码(status)详解

    总结:status体现的是服务器对请求的反馈,而readystate表明客户端与客户的交互状态过程. 1- AJAX状态值与状态码区别AJAX状态值是指,运行AJAX所经历过的几种状态,无论访问是否成 ...

  8. 详解wait和waitpid函数

    #include <sys/types.h> /* 提供类型pid_t的定义 */ #include <sys/wait.h> pid_t wait(int *status) ...

  9. 2016HUAS_ACM暑假集训4D - 计数，排列

    一个错排公式的基础应用. 大致题意:求n个数的错误排列方式.(每个都要错) 在这里先贴一下错排公式:D(1)=0:D(2)=1:D(n)=(n-1)*(D(n-1)+D(n-2)) 它的推导也非常有意 ...

  10. PetaPoco ORM 增加返回DataTable的方法

    public DataTable ExecuteDataTable(Sql sql) { return ExecuteDataTable(sql.SQL, sql.Arguments); } publ ...