在Centos7上部署kubernetes时，碰到很多坑，特别在摸拟在内网部署时，有来自GFW的障碍，有来自Firewalld的阻塞，反正是各种不服，终于慢慢理顺了思路，自己记录一下，防止遗忘。

环境为Centos7, 准备VMWare快照, 快照环境如下：

  • 安装好 CentOS7

    1
    2
    3
    4
    5
    6
    7
    yum -y install wget vim net-tools traceroute #安装常用工具
    yum -y kubernetes flannel #安装kubernetes组件及flannel网络组件
    #以下为kubernetes准备gcr镜像
    systemctl start docker
    docker pull hub.c.163.com/combk8s/pause:0.8.0
    docker tag hub.c.163.com/combk8s/pause:0.8.0 gcr.io/google_containers/pause:0.8.0
    docker rmi hub.c.163.com/combk8s/pause:0.8.0

  • 关机制作快照

部署思路是：master机器可以访问公网，并且作为网关，其它机器都在内网，因此master机器有两张网卡，其它机器与master机器的内网网卡相联
从快照中克隆4台机器，配置如下：

第一台机器 k8s-master，配置成为访问网关

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
# 机器 k8s-master, 此台机器除了作为 master 本身，还承担网关的职能
# VM中公网网卡连接方式：桥接, 对应centos系统中的网卡 eno16777736
# VM中私网网卡连接方式：仅主机模式，对应Centos系统中的网卡 eno33554984
# 由于在 k8s-master 机器中, eno33554984 连接其它机器的内网网卡，所以这张网卡需要标为 ZONE=trusted，确保防火墙不干扰内网数据
 
# eno16777736网卡配置
TYPE="Ethernet"
NAME="eno16777736"
UUID="8b130f48-94d8-4d4c-a6b0-128a36448a6a"
DEVICE="eno16777736"
IPADDR="192.168.206.30"
PERFIX="24"
GATEWAY="192.168.206.1"
DNS1="192.168.205.12"
ONBOOT="yes"
 
# eno33554984网卡配置
TYPE="Ethernet"
NAME="eno33554984"
DEVICE="eno33554984"
IPADDR="192.168.127.1"
PERFIX="24"
ONBOOT="yes"
ZONE=trusted
 
#开启 k8s-master的路由功能
echo "net.ipv4.ip_forward=1" >> /etc/sysctl.conf
sysctl -p
 
#允许SNAT转发上网
firewall-cmd --permanent --zone=public --add-masquerade
firewall-cmd --reload


第二台机器 k8s-etcd，安装ETCD服务

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
# 机器 k8s-etcd，此台机器承担etcd存储服务，仅有一张网卡
# VM中私网网卡连接方式：仅主机模式，对应Centos系统中的网卡 eno16777736
 
# eno16777736网卡配置
TYPE="Ethernet"
NAME="eno16777736"
DEVICE="eno16777736"
IPADDR="192.168.127.2"
PERFIX="24"
GATEWAY="192.168.127.1"
DNS1="192.168.205.12"
ONBOOT="yes"
 
#安装etcd
yum -y install etcd
#修改ETCD配置
vim /etc/etcd/etcd.conf
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.127.2:2379"
 
#接下来，为flannel网络产生配置文件，该配置文件用来设置kubernetes中虚拟子网的网段
vim flannel-config.json #文件内容如下
{
  "Network":"10.0.0.0/16",
  "SubnetLen":24,
  "Backend":{
    "Type":"vxlan",
    "VNI":1
  }
}
 
#将配置文件存储到ETCD对应的键上
etcdctl set atomic.io/network/config < flannel-config.json


第一台机器 k8s-master，配置成为Kube-master

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# 机器 k8-master，此台机器承担kube-master服务
# kube-master服务主要包含以下组件
# 1. kube-apiserver
# 2. kube-controller-manager
# 3. kube-scheduler
# 4. flannel 网络
 
# 首先来配置flannel网络，使flannel网络配置从etcd服务器读取
vim /etc/sysconfig/flanneld
FLANNEL_ETCD="http://192.168.127.2:2379" 
FLANNEL_ETCD_KEY="/atomic.io/network"
# 启动flannel网络，如果之前已经启动了docker，需要先关闭docker
systemctl enable flanneld
systemctl start flanneld
 
# 配置 kube-apiserver
vim /etc/kubernetes/apiserver
KUBE_API_ADDRESS="--address=0.0.0.0"
KUBE_ETCD_SERVERS="--etcd-servers=http://192.168.127.2:2379"
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.0.0.0/16"
KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"
# 由于是部署在内网，所以KUBE_ADMISSION_CONTROL中去掉了ServiceAccount的鉴权方式
 
# 接下来启动服务
systemctl enable kube-apiserver kube-controller-manager kube-scheduler
systemctl start kube-apiserver kube-controller-manager kube-scheduler


第三台机器 k8s-node1，配置成为Kubelet节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
# 机器 k8s-node1，此台机器承担kubernetes节点服务，仅有一张网卡
# VM中私网网卡连接方式：仅主机模式，对应Centos系统中的网卡 eno16777736
# eno16777736网卡配置
TYPE="Ethernet"
NAME="eno16777736"
DEVICE="eno16777736"
IPADDR="192.168.127.3"
PERFIX="24"
GATEWAY="192.168.127.1"
DNS1="192.168.205.12"
ONBOOT="yes"
 
# 首先来配置flannel网络，使flannel网络配置从etcd服务器读取
vim /etc/sysconfig/flanneld
FLANNEL_ETCD="http://192.168.127.2:2379" 
FLANNEL_ETCD_KEY="/atomic.io/network"
 
#hostname 配置
hostnamectl set-hostname k8s-node1
 
#kubernetes config 文件配置
vim /etc/kubernetes/config
KUBE_MASTER="--master=http://192.168.127.1:8080"
   
#kubernetes kubelet 文件配置
vim /etc/kubernetes/kubelet
KUBELET_ADDRESS="--address=0.0.0.0"
KUBELET_HOSTNAME="--hostname-override=k8s-node1"
KUBELET_API_SERVER="--api-servers=http://192.168.127.1:8080"
 
#启动kubelet
systemctl enable docker kubelet
systemctl start docker kubelet


第四台机器 k8s-node2，配置成为Kubelet节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
# 机器 k8s-node2，此台机器承担kubernetes节点服务，仅有一张网卡
# VM中私网网卡连接方式：仅主机模式，对应Centos系统中的网卡 eno16777736
  
# eno16777736网卡配置
TYPE="Ethernet"
NAME="eno16777736"
DEVICE="eno16777736"
IPADDR="192.168.127.4"
PERFIX="24"
GATEWAY="192.168.127.1"
DNS1="192.168.205.12"
ONBOOT="yes"
  
# 首先来配置flannel网络，使flannel网络配置从etcd服务器读取
vim /etc/sysconfig/flanneld
FLANNEL_ETCD="http://192.168.127.2:2379"  
FLANNEL_ETCD_KEY="/atomic.io/network"
  
#hostname 配置
hostnamectl set-hostname k8s-node2
  
#kubernetes config 文件配置
vim /etc/kubernetes/config
KUBE_MASTER="--master=http://192.168.127.1:8080"
  
#kubernetes kubelet 文件配置
vim /etc/kubernetes/kubelet
KUBELET_ADDRESS="--address=0.0.0.0"
KUBELET_HOSTNAME="--hostname-override=k8s-node2"
KUBELET_API_SERVER="--api-servers=http://192.168.127.1:8080"
  
#启动kubelet
systemctl enable docker kubelet
systemctl start docker kubelet


验证节点是否可用，在k8s-master上执行命令

1
2
3
4
[root@k8s-master ~]# kubectl get node
NAME        STATUS    AGE
k8s-node1   Ready     3h
k8s-node2   Ready     3h


 
 
 
 

kubernetes 内网节点部署笔记（一）的更多相关文章

  1. EOS主网节点部署

    EOS主网节点部署 #环境 ubuntu 16.4 EOS编译安装 EOS主网节点部署 eos区块查询.进程监控shell #EOS编译安装 #环境 ubuntu 16.4 # EOS安装部 # 以下 ...

  2. k8s内网安装部署（二）

    续上篇 https://www.cnblogs.com/wangql/p/13397034.html 一.kubeadm安装 1.kube-proxy开启ipvs的前置条件 modprobe br_n ...

  3. yum仓库配置与内网源部署记录

    使用yum的好处主要就是在于能够自动解决软件包之间的依赖.这使得维护更加容易.这篇文章主要就是记录部署内网源的操作过程以及yum工具如何使用 因为需要.数据库要从Oracle迁移至MySQL.在部署M ...

  4. 基于C#的内网穿透学习笔记（附源码）

    如何让两台处在不同内网的主机直接互连?你需要内网穿透!          上图是一个非完整版内外网通讯图由内网端先发起,内网设备192.168.1.2:6677发送数据到外网时候必须经过nat会转换成 ...

  5. Linux系统如何在离线环境或内网环境安装部署Docker服务和其他服务

    如何在离线环境或纯内网环境的Linux机器上安装部署Docker服务或其他服务.本次我们以Docker服务和Ansible服务为例. 获取指定服务的所有rpm包 保证要获取rpm包的机器能够上网. 本 ...

  6. frp 用于内网穿透的基本配置和使用

    frp 用于内网穿透的基本配置和使用 今天是端午节,先祝端午安康! frp 是一个专注于内网穿透的高性能的反向代理应用,支持 TCP.UDP.HTTP.HTTPS 等多种协议.可以将内网服务以安全.便 ...

  7. 工具篇：使用natapp工具映射内网到外网访问

    一.环境说明 开发基于微信公众号的应用最大的痛苦之处就是调试问题,每次实现一个功能后都需要部署到一个公网服务器进行测试,因为微信用户每次向公众号发起请求时,微信服务器会先接收到用户的请求,然后再转发到 ...

  8. 内网网络摄像机（RTSP/IPC/NVR）如何能在公网进行RTMP/HLS/HTTP-FLV直播

    一.背景需求 传统监控行业里不管是设备端.服务器端亦或是客户端都在一个内网里面.而且现在的大部分监控方案都是这样的格局,小到一个公司范围内的监控,再到一个园区.一个仓库监控.一个农业园林监控.一个养殖 ...

  9. 使用kubernetes 官网工具kubeadm部署kubernetes(使用阿里云镜像)

    系列目录 kubernetes简介 Kubernetes节点架构图: kubernetes组件架构图: 准备基础环境 我们将使用kubeadm部署3个节点的 Kubernetes Cluster,整体 ...

随机推荐

  1. 给button按钮加回车事件

    <button class="login-btn" id="login">立即登录</button> $("body" ...

  2. 2017 年值得一瞥的 JavaScript 相关技术趋势

    跨年前两天,Dan Abramov在Twitter上提了一个问题: JS社区毫不犹豫的抛出了它们对于新技术的预期与期待,本文内容也是总结自Twitter的回复,按照流行度降序排列.有一个尚未确定的小点 ...

  3. VS2010调试C程序，总是一闪而过

    今天在vs2010调试C语言程序的时候,一闪而过,百度上搜了三种解决的方法,都是可以用的. 1.   #include<iostream> using namespace std; int ...

  4. php中关于Map热点的运用

    给图像使用map标签,可以给图像的某个部分建立超连接 一般情况下用在图片上,如:<img src="Images/banner.gif" width="780&qu ...

  5. 11.12模拟考T1（可持续优化）PS：神奇的东西

    1．数列操作   (array.pas/c/cpp) [问题描述] 现在有一个数列,最初包含0个数.现在要对数列操作n次,操作有3类. 1) a k,在数列的最后插入一个整数k 2) s 将最近插入的 ...

  6. HTML 字符实体

    原文地址 在 HTML 中,某些字符是预留的. 在 HTML 中不能使用小于号(<)和大于号(>),这是因为浏览器会误认为它们是标签. 如果希望正确地显示预留字符,我们必须在 HTML 源 ...

  7. 学习笔记-Java编程思想

    2016-01-03 Swith(整数选择因子):必须是int或char这样的整数值. Java中不包含goto语句,但是可以通过标识符实现类似的控制.

  8. 在不安装mysql-connector-net的情况下使用FluentData框架

    最近在开发项目中使用了FluentData框架,通过使用这个框架减少了很多开发的工作量,FluentData是一个轻量级的框架操作起来的自由度很大也少了很多负责的配置.但是在开发的时候发现一个问题就是 ...

  9. windows server 2012 FTP SMB 文件夹权限继承

    被坑了..win默认的权限继承,有继承就没有smb目录继承,有smb目录继承 父级文件夹的权限就删不掉.. 换ftp轻松愉快...

  10. SQL系统数据库简介(mssqlsystemresource)

    mssqlsystemresource