如何在 Kubernetes 集群中玩转 Fluid + JuiceFS

作者简介: 吕冬冬,云知声超算平台架构师, 负责大规模分布式机器学习平台架构设计与功能研发,负责深度学习算法应用的优化与 AI 模型加速.研究领域包括高性能计算.分布式文件存储.分布式缓存等. 朱唯唯,Juicedata 全栈工程师,负责 JuiceFS CSI Driver 的开发和维护,负责 JuiceFS 在云原生领域的发展. 云知声 Atlas 团队在 2021 年初开始接触并跟进 JuiceFS 存储,并且在早期已经积累了丰富的 Fluid 使用经验.近期,云知声团队与 Juiceda…

在Kubernetes集群中使用calico做网络驱动的配置方法

参考calico官网:http://docs.projectcalico.org/v2.0/getting-started/kubernetes/installation/hosted/kubeadm/ 上述链接介绍的是利用calico内置独立的etcd节点实现pod发现与存储的机制,过程中通过yaml文件描述的规则在Kubernetes master所在node上部署一个单节点的etcd集群,此etcd集群只供calico内部使用贴一下我的配置: # This ConfigMap is us…

初试 Kubernetes 集群中使用 Traefik 反向代理

初试 Kubernetes 集群中使用 Traefik 反向代理 2017年11月17日 09:47:20 哎_小羊_168 阅读数:12308 版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/aixiaoyang168/article/details/78557739 目录 Traefik 介绍环境.软件准备部署 Traefik 部署 Traefik UI 部署自定义 Ingress 部分特性说明 1.Traefik 介绍在日常工作…

在kubernetes集群中创建redis主从多实例

分类 > 正文在kubernetes集群中创建redis主从多实例 redis-slave镜像制作 redis-master镜像制作创建kube的配置文件yaml 继续使用上次实验环境 https://www.58jb.com/html/180.html ,因为环境中已经配置好flannel网络了,接下要就是慢慢在此环境中创建一些实例.因为只是搭建简单的环境是比较容易上手,随便网上一搜可能就出来了.但是要自己去从头一步一步跑起项目,还是基于真实的项目来跑的话还是需要自己多研究,当然目前还是止…

Kubernetes集群中Service的滚动更新

Kubernetes集群中Service的滚动更新二月 9, 2017 0 条评论在移动互联网时代,消费者的消费行为已经“全天候化”,为此,商家的业务系统也要保持7×24小时不间断地提供服务以满足消费者的需求.很难想像如今还会有以“中断业务”为前提的服务系统更新升级.如果微信官方发布公告说:每周六晚23:00~次日凌晨2:00进行例行系统升级,不能提供服务,作为用户的你会怎么想.怎么做呢?因此,各个平台在最初设计时就要考虑到服务的更新升级问题,部署在Kubernetes集群中的Service…

【转载】浅析从外部访问 Kubernetes 集群中应用的几种方式

一般情况下,Kubernetes 的 Cluster Network 是属于私有网络,只能在 Cluster Network 内部才能访问部署的应用.那么如何才能将 Kubernetes 集群中的应用暴露到外部网络,为外部用户提供服务呢? 本文就来讲一讲从外部网络访问 Kubernetes Cluster 中 Pod 和 Serivce 的几种常用的实现方式. Pod 和 Service 的关系我们首先来了解一下 Kubernetes 中的 Pod 和 Service 的概念以及两者间的关系.…

Kubernetes集群中Jmeter对公司演示的压力测试

6分钟阅读背景压力测试是评估Web应用程序性能的有效方法.此外,越来越多的Web应用程序被分解为几个微服务,每个微服务的性能可能会有所不同,因为有些是计算密集型的,而有些是IO密集型的. 基于微服务架构的Web应用程序压力测试起着更重要的作用.本博客将使用Kubernetes集群中的JMeter 3.2(一种功能强大的压力测试工具)评估我们公司演示的性能. 从上一篇文章中,我们发现Manager服务需要大部分资源.因此,在此计划中,我们将深入研究Manager服务的性能测试. 测试计划我们…

（转）在Kubernetes集群中使用JMeter对Company示例进行压力测试

背景压力测试是评估应用性能的一种有效手段.此外,越来越多的应用被拆分为多个微服务而每个微服务的性能不一,有的微服务是计算密集型,有的是IO密集型. 因此,压力测试在基于微服务架构的网络应用中扮演着越来越重要的角色.本文将在Kubernetes集群中使用JMeter 3.2来对Company应用进行性能评估. 在上文<微服务化后的按需精细化资源控制>中已了解到Manager服务的资源需求最大,本次使用JMeter对Company应用进行精细的性能测试. 制定JMeter测试方案制定的测试方案…

实操教程丨如何在K8S集群中部署Traefik Ingress Controller

注:本文使用的Traefik为1.x的版本在生产环境中,我们常常需要控制来自互联网的外部进入集群中,而这恰巧是Ingress的职责. Ingress的主要目的是将HTTP和HTTPS从集群外部暴露给该集群中运行的服务.这与Ingress控制如何将外部流量路由到集群有异曲同工之妙.接下来,我们举一个实际的例子来更清楚的说明Ingress的概念. 首先,想象一下在你的Kubernetes集群中有若干个微服务(小型应用程序之间彼此通信).这些服务能够在集群内部被访问,但我们想让我们的用户从集群外部也…

kubernetes集群中的pause容器

昨天晚上搭建好了k8s多主集群,启动了一个nginx的pod,然而每启动一个pod就伴随这一个pause容器,考虑到之前在做kubelet的systemd unit文件时有见到: 1 2 3 4 5 6 [root@node01 ~] CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 43884d79fe6f nginx "nginx -g 'daemon of-" 11 hours ago Up 11 hours k8s_ng…

解决项目迁移至Kubernetes集群中的代理问题

解决项目迁移至Kubernetes集群中的代理问题随着Kubernetes技术的日益成熟,越来越多的企业选择用Kubernetes集群来管理项目.新项目还好,可以选择合适的集群规模从零开始构建项目:旧项目迁移进Kubernetes集群就需要考虑很多因素,毕竟项目不能中断时间过久. 问题来源近日在做项目迁移至Kubernetes集群时,遇到了一件有意思的问题:因为开发用的dubbo版本过低,在zookeeper注册不上,需要开发升级dobbo,然后在打包成镜像,所以要先把nodejs迁移进Ku…

ingress-nginx 的使用 =》部署在 Kubernetes 集群中的应用暴露给外部的用户使用

文章转载自:https://mp.weixin.qq.com/s?__biz=MzU4MjQ0MTU4Ng==&mid=2247488189&idx=1&sn=8175f06764407c1663b5b1f917dc7692&chksm=fdb91da0cace94b62f6cb1e09c97294609bdff471d5f23d255890b2d17c720712c1555801a8f&cur_album_id=1319287026209947648&sc…

Kubernetes集群中修复状态为NotReady的节点

度个假回来发现自己集群中的节点都挂了,全部是NotReady状态但是除了.10节点外,其他主机并没有挂,可以远程连接上, 那就考虑是kubernetes系统的问题解决的方法是重启kube-proxy和kubelet服务即可 systemctl restart kube-proxy systemctl restart kubelet 那为什么要重启它们两个? Kubelet组件运行在Node节点上,维持运行中的Pods以及提供kuberntes运行时环境,主要完成以下使命: 1．监视分配给该N…

Kubernetes 集群中使用 Helm 搭建 Spinnaker

在我们部署Spinnaker之前,我们需要一个YAML格式的配置文件,它会包含了一些配置信息.可以从Spinnaker Helm Chart repository[2]获得这个文件. $curl -Lo values.yaml https://raw.githubusercontent.com/kubernetes/charts/master/stable/spinnaker/values.yaml %Total % Received % Xferd Average Speed Time Tim…

在 Kubernetes 集群中使用 NodeLocal DNSCache

转载自:https://www.qikqiak.com/post/use-nodelocal-dns-cache/ NodeLocal DNSCache 通过在集群节点上运行一个 DaemonSet 来提高 clusterDNS 性能和可靠性.处于 ClusterFirst 的 DNS 模式下的 Pod 可以连接到 kube-dns 的 serviceIP 进行 DNS 查询.通过 kube-proxy 组件添加的 iptables 规则将其转换为 CoreDNS 端点.通过在每个集群节点上运行…

kubernetes集群中移除Node

例如要在集群中移出node2节点1)在master节点上执行: kubectl drain node2 --delete-local-data --force --ignore-daemonsets kubectl delete node node2 2)在node2上执行: kubeadm reset ifconfig cni0 down ip link delete cni0 down ip link delete flannel. rm -rf /var/lib/cni/…

在 kubernetes 集群中部署一套 web 网站（网页内容不限)

环境准备一台部署节点,一台master节点,还有两台节点node1,node2 完好的k8s集群环境思路一: 在node1和node2节点上通过宿主机与容器之间目录映射和端口映射上线静态网站(或动态),然后将映射的目录做成hostpath,通过nfs共享出去. 思路二: 在node1和node2节点上通过拷贝宿主机存放静态资源的目录到容器的apache根目录内实现静态网站的上线,并且能通过部署nodeport静态端口访问后端节点的静态网站. 这里我演示第二种方法: 部署节点操作: 1)编排h…

在Kubernetes集群中安装Helm及证书认证

安装Kubernetes 测试环境使用kubeadm安装kubernetes v1.6.3版本, 安装过程略过. 为Helm创建客户端认证客户端认证是为了能够使用helm命令行调用Helm的服务端Tiller. cd /etc/kubernetes/pki/ # 编译认证文件 openssl genrsa -out helm.key 2048 openssl req -new -key helm.key -subj "/CN=helm" -out helm.csr openssl x…

如何在Kubernetes集群动态使用 NAS 持久卷

1. 介绍: 本文介绍的动态生成NAS存储卷的方案:在一个已有文件系统上,自动生成一个目录,这个目录定义为目标存储卷: 镜像地址:registry.cn-hangzhou.aliyuncs.com/acs/alicloud-nas-controller:v1.11.5.4-433631d-aliyun 默认生成资源:生成的PV名字为:pvc-${pvc-uid}生成目录的名字:namespace-pvcname-pvname 可以再pvc的annotations中如下声明,自定义名字:生成的pv…

在kubernetes集群中部署ElasticSearch集群--ECK

Elastic Cloud on Kubernetes (ECK) ---ECK是这个说法哈. 基本于k8s operator的官方实现. URL: https://www.elastic.co/guide/en/cloud-on-k8s/current/index.html https://www.elastic.co/guide/en/cloud-on-k8s/current/k8s-quickstart.html https://github.com/elastic/cloud-on-k8…

kubernetes集群中对多个pod操作命令

$ for i in 0 1; do kubectl exec web-$i -- sh -c 'echo hello $(hostname) > /usr/share/nginx/html/index.html'; done…

企业运维实践-丢弃手中的 docker build , 使用Kaniko直接在Kubernetes集群或Containerd环境中快速进行构建推送容器镜像

关注「WeiyiGeek」公众号设为「特别关注」每天带你玩转网络安全运维.应用开发.物联网IOT学习! 希望各位看友[关注.点赞.评论.收藏.投币],助力每一个梦想. 本章目录目录首发地址: https://mp.weixin.qq.com/s/wchtH6i0xKrIrqSuYKmWkg 原文地址: https://blog.weiyigeek.top/2022/9-1-684.html 0x00 前言简述快速介绍什么是Kaniko? 为啥用Kaniko? Kaniko 是如何工作的…

如何在CentOS上创建Kubernetes集群

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由编程男孩发表于云+社区专栏介绍 Kubernetes(常简称为K8s)是用于自动部署.扩展和管理容器化(containerized)应用程序的开源系统.Google设计并捐赠给Linux基金会来使用的.它旨在提供"跨主机集群的自动部署.扩展以及运行应用程序容器的平台".它支持一系列容器工具, 包括Docker等. Kubeadm是 Kubernetes 官方推出的部署工具 ,例如API服务器,Controller M…

在 Minecraft 中管理 Kubernetes 集群

原文链接:在 Minecraft 中管理 Kubernetes 集群微软 2015 年收购 Minecraft 之后不久开源了一个项目叫 Dockercraft,这个项目当时看起来非常有趣,通过 Dockercraft,玩家可以在 Minecraft 中启动或停止一个 Docker 容器,而 Docker 容器会以一个 N*N 的方块房子的方式显示在玩家面前,每一栋房子都代表一个 Docker 容器. 房子的外面挂着显示容器信息的看板,包括容器的名称.正在运行的进程.CPU 与内存的使用率等信…

在 Linux 部署多节点 Kubernetes 集群与 KubeSphere 容器平台

KubeSphere 是在 Kubernetes 之上构建的以应用为中心的企业级容器平台,所有供为用户提供简单易用的操作界面以及向导式操作方式.同时,KubeSphere Installer 提供了快速部署生产级别的 Kubernetes 集群和全栈化容器平台的功能,能够快速帮助企业用户快速搭建一套以应用为中心的 DevOps 平台. KubeSphere 支持部署和运行在包括公有云.私有云.VM.BM 和 Kubernetes 等任何基础设施之上,可以部署在公有云托管的 Kubernetes…

Kubernetes集群

Kubernetes已经成为当下最火热的一门技术,未来一定也会有更好的发展,围绕着云原生的周边产物也越来越多,使得上云更加便利更加有意义,本文主要讲解一些蔚来汽车从传统应用落地到Kubernetes集群的一些实践经验,提供给大家在落地之前的一些思考和注意点,并且让大家在实施的时候能够有一些借鉴,提供一些使用过程中的注意事项.项目背景 Docker诞生于2013年初,随着时间的推移Docker项目也逐渐火热起来,也形成了自己的生态,为了能够灵活调度容器,编排技术也变得非常重要,Swarm,Meso…