09-5.部署 EFK 插件】的更多相关文章

09-5.部署 EFK 插件 EFK 对应的目录:kubernetes/cluster/addons/fluentd-elasticsearch $ cd /opt/k8s/kubernetes/cluster/addons/fluentd-elasticsearch $ ls *.yaml es-service.yaml es-statefulset.yaml fluentd-es-configmap.yaml fluentd-es-ds.yaml kibana-deployment.yaml…
简单介绍: EFK 组合插件是k8s项目的一个日志解决方案,它包括三个组件:Elasticsearch, Fluentd, Kibana.相对于ELK这样的架构,k8s官方推行了EFK,可能Fluentd相对于Logstash更加轻量级吧. Elasticsearch 是日志存储和日志搜索引擎,Fluentd 负责把k8s集群的日志发送给 Elasticsearch, Kibana 则是可视化界面查看和检索存储在 Elasticsearch 的数据. GitHub官网:https://githu…
简绍 应用程序和系统日志可以帮助我们了解集群内部的运行情况,日志对于我们调试问题和监视集群情况也是非常有用的.而且大部分的应用都会有日志记录,对于传统的应用大部分都会写入到本地的日志文件之中.对于容器化应用程序来说则更简单,只需要将日志信息写入到 stdout 和 stderr 即可,容器默认情况下就会把这些日志输出到宿主机上的一个 JSON 文件之中,同样也可以通过 docker logs 或者 kubectl logs 来查看到对应的日志信息. Kubernetes 中比较流行的日志收集解决…
简述 本文用于记录如何使用Docker Compose部署 EFK(Elasticsearch + Fluentd + Kibana) 收集Docker容器日志,使用EFK,可以无侵入代码,获得灵活,易用的日志收集和分析. fluentd镜像构建相关文件.docker-compose.yml文件都放在 https://github.com/LXD24/EFK 仓库里. 1.首先弄个fluentd镜像 因为Fluentd需要fluent-plugin-elasticsearch插件才能将日志传输到…
文章目录 1.13.0.创建metrics-server证书和私钥 1.13.1.生成metrics-server证书和私钥 1.13.2.开启kube-apiserver聚合配置 1.13.3.分发配置文件和秘钥到其他节点 1.13.4.重启所有的kube-apiserver组件 1.13.5.下载yaml文件 1.13.6.配置yaml文件 1.13.7.验证metrics-server功能 suse 12 二进制部署 Kubernetes 集群系列合集: suse 12 二进制部署 Kub…
文章目录 1.3.部署flannel网络 1.3.0.下载flannel二进制文件 1.3.1.创建flannel证书和私钥 1.3.2.生成flannel证书和私钥 1.3.3.将pod网段写入etcd 1.3.4.配置flannel为systemctl管理 1.3.5.分发flannel证书和启动文件到所有节点 1.3.6.配置并启动flannel服务 1.3.7.查看已分配的pod网段列表 1.3.8.查看各节点是否都存在flannel网卡 suse 12 二进制部署 Kubernetes…
文章目录 1.9.部署kubelet 1.9.0.创建kubelet bootstrap kubeconfig文件 1.9.1.创建kubelet配置文件 1.9.2.配置kubelet为systemctl启动 1.9.3.拉取kubelet依赖的pause镜像 1.9.4.分发kubelet证书和文件到其他节点 1.9.5.授权kubelet-bootstrap用户组允许请求证书 1.9.6.启动kubelet服务 1.9.7.自动approve CSR请求 1.9.8.查看节点是否都为rea…
文章目录 1.12.0.创建namespace 1.12.1.创建Dashboard rbac文件 1.12.2.创建dashboard文件 1.12.3.查看pod以及svc 1.12.4.获取 dashboard token suse 12 二进制部署 Kubernetes 集群系列合集: suse 12 二进制部署 Kubernetets 1.19.7 - 第00章 - 环境准备 suse 12 二进制部署 Kubernetets 1.19.7 - 第01章 - 创建CA证书和kubect…
最近试着使用IntelliJ IDEA这款IDE,网上说它是最好用的java开发工具~但奈何国内ecilpse市场占有率实在稳固,所以国内这个工具也就少数人在使用 当然使用起来跟ecilpse还是有很大差别的,特别的它新建一个project就是相对ecilpse的一个工作空间,这个到现在我还是不习惯~目测越扯越扯远了-,- 不过最不习惯的还是它用tomcat部署工程的时候,不能实现热部署,不说更改java文件,就是在页面更改一点东西加个标签什么的,都得重启tomcat才能刷新...天啊,这得浪费…
Elasticsearch5.5 部署Head插件 1.git下载软件包 yum -y install git git clone git://github.com/mobz/elasticsearch-head.git 备注:安装包不要放到elasticsearch/plugins目录下 2.node安装 http://www.cnblogs.com/shhnwangjian/p/6559732.html 3.安装grunt npm install -g grunt-cli 4.修改Elast…
信息: Docker版本($ docker --version):Docker版本18.06.1-ce,版本e68fc7a 系统信息($ cat /etc/centos-release):CentOS Linux release 7.5.1804 (Core) 第一步:配置镜像加速 sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json <<-'EOF' { "registry-mirrors": ["…
准备 kube-dns 相关镜像 准备 kube-dns 相关 yaml 文件 系统预定义的 RoleBinding 配置 kube-dns 相关服务 检查 kube-dns 功能 kube-dns 官方的 yaml 文件其实在我们先前下载的 kubernetes server 软件包内,具体路径为:/srv/kubernetes/cluster/addons/dns 我是把 kuberntes 解压到了 /srv/ 目录下 准备 kube-dns 相关镜像 kube-dns 插件直接使用 ku…
一.概述 1.我们说过在helm架构中有这么几个关键组件,helm,tiller server,一般托管运行于k8s之上,helm能够通过tiller server在目标k8s集群之上部署应用程序,而后,helm对应程序部署来自于helm能访问到的仓库中的chart.并且我们可以把chart通过配置生成为 Release,其中config是来自于我们chart中的values.yaml文件,对chart来讲其内部没有太多复杂的地方,无非就是把我们此前所自己编写的配置清单改写为可复用格式,所谓的可…
部署5.0版本的ES 5.0版本的ES跟之前的版本最大的不同之处就是多了很多环境的校验,比如jdk,max-files等等. 设置内核参数 vi /etc/sysctl.conf # 增加下面的内容 fs.file-max=65536 vm.max_map_count=262144 设置资源参数 vi /etc/security/limits.conf # 修改 * soft nofile 32768 * hard nofile 65536 修改elasticsearch的参数 修改一下es使用…
deploy to remote server by one button click 功能 支持docker一键部署(支持netcore) 支持iis一键部署(支持netcore和framework)(支持增量发布)(支持一键回滚)(支持点火) 支持windows服务一键部署(支持netcore和framework)(支持增量发布)(支持一键回滚) 使用插件前 我要发布一个netcore的项目到阿里云的windows服务器的话我一般需要如下的步骤: 1. vs中发布网站到c:/temp/web…
一键发布工具(ant deploy tool) 插件下载地址: https://marketplace.visualstudio.com/items?itemName=nainaigu.AntDeploy 1.iis一键发布自动部署 (iis deploy support) 支持netcore 和 netframework发布 (支持mvc webapi) 支持website自动创建 ps:需要在windows 服务器上安装一个agent 具体请看下面有说明 2.docker一键发布自动部署 (…
简单介绍: 如果使用kubernetes的自动扩容功能的话,那首先得有一个插件,然后该插件将收集到的信息(cpu.memory..)与自动扩容的设置的值进行比对,自动调整pod数量.关于该插件,在kubernetes的早些版本中采用的是heapster,1.13版本正式发布后,丢弃了heapster,官方推荐采用metrics-sever. 测试环境: 同之前部署的集群环境,如下: System Hostname IP CentOS 7.6 k8s-master 138.138.82.14 Ce…
部署5.0版本的ES 5.0版本的ES跟之前的版本最大的不同之处就是多了很多环境的校验,比如jdk,max-files等等. 设置内核参数 vi /etc/sysctl.conf # 增加下面的内容 fs.file-max=65536 vm.max_map_count=262144 设置资源参数 vi /etc/security/limits.conf # 修改 * soft nofile 32768 * hard nofile 65536 修改elasticsearch的参数 修改一下es使用…
写在前面: 此文是我最后写的.其实实际部署的时候,我是先安装了论坛并试图开通微信的微社区.发现微社区需要在微信公众平台的开发者中心里配置 "网页账号,网页授权获取用户基本信息"为论坛的根uri.原来我的论坛是单独发布在一个服务器上单独享用一个二级域名.我配置这个用户授权的uri为论坛URL后,发现我的公众平台的第三方平台服务器应用不好工作,那个服务器应用也是需要用户授权这个接口的,同样需要配置url,可悲的是公众平台的服务器应用是在另一个服务器上,哎url不同!最后我的解决办法是将js…
一.什么是持续集成? (1)Continuous integration(CI) 持续集成是一种软件开发实践,即团队开发成员经常集成他们的工作,通常每个成员至少集成一次,也就意味着每天可能会发生多次集成.每次集成都通过自动化的构建(包括编译,发布,自动化测试)来验证,从而尽快地发现集成错误.许多团队发现这个过程可以大大减少集成的问题,让团队能够更快的开发内聚的软件. (2)没有持续集成 项目做模块集成的时候,发现很多借口都不通==>浪费大量时间 需要手动去编译打包最新的代码==>构建过程不透明…
EFK,ELK都是目前最为流行的分布式日志框架,主要实现了日志的收集,存储,分析等,它可以与docker容器进行结合,来收集docker的控制台日志,就是stdout日志. elasticsearch.master_data_client说明 默认情况下,每个节点都有成为主节点的资格,也会存储数据,还会处理客户端的请求.在一个生产集群中我们可以对这些节点的职责进行划分. 建议集群中设置 3台 以上的节点作为 master 节点node.master: true node.data: false…
前段时间看了马哥的k8s新书,最后几章讲了下EFK,尝试部署了下,很多问题, 这里改进下,写个笔记记录下吧. 准备工作 所有组件都通过helm3部署,选添加几个仓库. helm repo add bitnami https://charts.bitnami.com/bitnami helm repo add fluent https://fluent.github.io/helm-charts 存储用的nfs的sc,自行解决. 三个4G内存工作节点的k8s集群. 部署es 其中动态pv, pro…
一.问题引出 通常,我们先定义好html结构或者模板,通过ajax向后台发起请求,后台返回json数据,然后再将json数据渲染到页面上.以博客园个人博客里的个人信息为例子,如图: 1.定义html. <p>姓名:<span data-bind="text:UserName"></span></p> <p>园龄:<span data-bind="text:BlogAge"></span&g…
配置和安装 EFK 官方文件目录:cluster/addons/fluentd-elasticsearch $ ls *.yaml es-controller.yaml es-service.yaml fluentd-es-ds.yaml kibana-controller.yaml kibana-service.yaml efk-rbac.yaml 同样EFK服务也需要一个efk-rbac.yaml文件,配置serviceaccount为efk. 已经修改好的 yaml 文件见:EFK 配置…
spring boot 系列学习记录:http://www.cnblogs.com/jinxiaohang/p/8111057.html 码云源码地址:https://gitee.com/jinxiaohang/springboot 〇.介绍Lombok 我们在开发过程中,通常都会定义大量的JavaBean,然后通过IDE去生成其属性的构造器.getter.setter.equals.hashcode.toString,每个javaBean都需要写,即使是使用IDE快速创建,会不会觉得很麻烦,而…
一.安装好插件 二.构建触发器会出现设置trigger的入口 三.设置的两个部分 第一: Jenkins的这个触发器,这里主要是接受post数据.其中Post content parameters是用来设置匹配post数据中的字段名和字段内容,而图中的ref为字段名,必须是post数据中的一个变量/字段,$.ref表示这个变量的内容.当然,根据开发的要求,结合post数据,这里可以增加多个字段. 第二: 结合第一部分里设置的变量,就会在这里的Optional filter里用到,图中可以看到Te…
如果经济实力允许的话,还是建议大家去购买收费版.支持原创作者,才能有更好的产品出现. 一.Jrebel插件介绍 JRebel一款帮助我们在开发过程中实现热加载的插件,目前来说,在IDEA中实现热加载最简单的方式就是使用Jrebel插件,我们修改代码之后不用重启应用,使代码能够立刻生效.本文将基于IntelliJ IDEA给大家讲解一下插件的破解方式.安装我就不讲了,IDEA的插件安装很简单. 安装过程可以看我的另外一篇文章:使用JRebel插件实现SpringBoot应用代码热加载 二.破解方法…
修改自己不确定的配置文件前,先准备备份,防患于未然!!! Environment:{ 目前测试准备三台2m2g虚拟机  详情概略图见EFK的架构图 https://www.cnblogs.com/security-guard/ 1.装filebeat  用于客户端web界面  172 2.安装logstash       139 3.安装elasticsearch kibana  128 } 检测环境,确保均安装jdk环境 返回jdk环境数据 查看环境 移动压缩包到指定目录 解压准备好的zook…
简单介绍: Helm其实就是一个基于Kubernetes的程序包(资源包)管理器,它将一个应用的相关资源组织成为Charts,并通过Charts管理程序包.再简单点说,可以当做RHEL/CentOS系统中的yum机制,有yum install,也有helm install等等.具体可以参考网上其他介绍. GitHub:https://github.com/helm/helm 官网:https://helm.sh/docs/using_helm/#quickstart-guide 测试环境: 同之…
请看完再动手,两篇文章都是找来的,合并在一起了,前半部分是参考,我是按照后半部分做的,而且执行中间也有坑. Elasticsearch5.X及 head插件 安装说明: 1.下载elasticsearch安装文件: a) 下载官方源码: https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.0.0.tar.gz b) 解压压缩文件 tar -zxvf elasticsearc-5.0.0.tar.gz c) 修改…