Elasticsearch支持多播和单播自动发现节点,但多播已经不被大多数操作系统支持,并且安全性不高,这里主要用单播发现节点,配置如下 discovery.zen.ping.multicast.enabled: false  #关闭多播 discovery.zen.ping.unicast.hosts: ["192.168.31.163:9300","192.168.31.160:9300","192.168.31.161:9300",&quo

Elastic Stack之ElasticSearch分布式集群二进制方式部署 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 想必大家都知道ELK其实就是Elasticsearch+Logstash+Kibanna.其中的Logstash由于收集日志很占用资源,官方引入了一个新的组建叫做Beats.它以后可能会渠道Logstash,因为Beats是比Logstash更轻量级的日志收集工具.于此同时,该公司还引入了X-pack插件(需要单独安装),可以在安全审计,权限控制,机

Elastic Search 安装和配置 1.下载 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.3.tar.gz 2.解压 tar -vxf elasticsearch-6.5.3.tar.gz 3.启动 cd /usr/elasticsearch-6.5.3/ 4.开启端口 firewall-cmd --permanent --add-port=9200/tcp sudo firewal

为了elastic时时提供服务,需要elastic至少状态维持在yellow状态.所有,维护时需要依次对elastic单个节点进行维护. 操作步骤如下: 1.停止elastic的自动分配功能 curl -XPUT 192.168.1.1:9200/_cluster/settings -d' { "persistent": { "cluster.routing.allocation.enable": "none" } }' 2.关闭需要维护的ela

node节点组件 docker kubelet kube-proxy kubernetes-server-linux-amd64.tar.gz(相关的这里都能找到二进制文件!) falnnel 1. 系统初始化 1.01 系统环境&&基本环境配置 [root@localhost ~]# uname -a Linux localhost.localdomain 4.18.0-80.11.2.el8_0.x86_64 #1 SMP Tue Sep 24 11:32:19 UTC 2019 x8

1.介绍 官方宣布从6.8和7.1开始,免费提供多项安全功能.其中包括tls加密通信,基于角色访问控制等功能. 可以使用企业CA证书来完成这一步骤,但是一般情况下,我们可以通过elasticsearch自带的elasticsearch-certutil的命令生成证书.然后各节点通过该证书可以进行安全通信. 为节点创建证书 TLS:TLS协议要求Trusted Certificate Authority(CA)签发的X.509的证书 证书认证的不同级别 Certificate:节点加入集群需要使用

ETCD集群部署 所有持久化的状态信息以KV的形式存储在ETCD中.类似zookeeper,提供分布式协调服务.之所以说kubenetes各个组件是无状态的,就是因为其中把数据都存放在ETCD中.由于ETCD支持集群,这里在三台主机上都部署上ETCD. (1)准备etcd软件包 wget https://github.com/coreos/etcd/releases/download/v3.2.18/etcd-v3.2.18-linux-amd64.tar.gz [root@linux-node

组件版本和配置策略 组件版本 Kubernetes 1.16.2 Docker 19.03-ce Etcd 3.3.17 https://github.com/etcd-io/etcd/releases/ Flanneld 0.11.0 https://github.com/coreos/flannel/releases/ 插件: Coredns Dashboard Heapster (influxdb.grafana) Metrics-Server EFK (elasticsearch.flu

一.RabbiMQ简介 RabbiMQ是用Erang开发的,集群非常方便,因为Erlang天生就是一门分布式语言,但其本身并不支持负载均衡. RabbiMQ模式 RabbitMQ模式大概分为以下三种:(1)单一模式.(2)普通模式(默认的集群模式).(3) 镜像模式(把需要的队列做成镜像队列,存在于多个节点,属于RabbiMQ的HA方案,在对业务可靠性要求较高的场合中比较适用).要实现镜像模式,需要先搭建一个普通集群模式,在这个模式的基础上再配置镜像模式以实现高可用. RabbiMQ特点 Rab

本次博文发两块,前部分是怎样搭建一个Elastic集群,后半部分是基于Java对数据进行写入和聚合统计. 一.Elastic集群搭建 1. 环境准备. 该集群环境基于VMware虚拟机.CentOS 7系统,公司目前用的服务器系统基本全是CentOS系统,因此就选了这个.Elasticsearch需要依赖的最低环境就是JDK8,且要配置好环境变量JAVA_HOME. Elasticsearch的安装也可以查看官网给出的安装说明. 虚拟机系统采用的是最小化安装,没有安装桌面程序.安装完程序再安装J

1.集群安装es ES内部索引原理: <时间序列数据库的秘密(1)—— 介绍> <时间序列数据库的秘密 (2)——索引> <时间序列数据库的秘密(3)——加载和分布式计算> 1.1 环境 域名 ip master 192.168.0.120 slave1 192.168.0.121 slave2 192.168.0.122 1.2 三台机器都安装jdk最新版本 [root@master ~]$ java -version java version "1.8.0

越来越多的企业已经采用ELK解决方案来对其公司产生的日志进行分析,笔者最近着手在生产环境部署自己的ELK stack,本文介绍ELK中elasticsearch5.2集群的实现. 一.环境准备 1.系统:CentOS 6.8 ip及角色:192.168.1.121(master node) 192.168.122(data node) 192.168.123(client node) 2.JDK # 笔者使用的jdk版本jdk-8u121-linux-x64.rpm,下面给出可以直接下载的JDK

文章转载自:https://mp.weixin.qq.com/s/8nWV5b8bJyTLqSv62JdcAw 第一篇:Elasticsearch 磁盘使用率超过警戒水位线 从磁盘常见错误说下去 当客户端向 Elasticsearch 写入文档时候报错: cluster_block_exception [FORBIDDEN/12/index read-only / allow delete (api)]; 在 elasticsearch 的日志文件中报错如下: flood stage disk

Elastic Stack之ElasticSearch分布式集群yum方式搭建 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.搜索引擎及Lucene基本概念 1>.什么是搜索引擎 搜索引擎是由索引组件和搜索组件两部分组成. 索引组件是面向数据存储和索引构建,搜索组件是面向用户提供搜索功能以及将用户提供的搜索请求转换成可用的查询语句并通过索引完成查询过程(或搜索过程).对于搜索引擎来讲,有一个著名的索引类型叫做倒排索引.倒排索引的作用主要是通过关键词去查对应文档的.不像我

Kubernetes容器集群管理 Kubernetes介绍 Kubernetes是Google在2014年6月开源的一个容器集群管理系统,使用Go语言开发,Kubernetes也叫K8S.K8S是Google内部一个叫Borg的容器集群管理系统衍生出来的,Borg已经在Google大规模生产运行十年之久.K8S主要用于自动化部署.扩展和管理容器应用,提供了资源调度.部署管理.服务发现.扩容缩容.监控等一整套功能.2015年7月,Kubernetes v1.0正式发布.Kubernetes目标是让

一.问题现象 我们使用二进制部署k8s的高可用集群时,在部署多master时,kube-controller-manager服务提示Unhealthy [root@ceph-01 system]# kubectl get cs NAME STATUS MESSAGE ERROR scheduler Healthy ok controller-manager Unhealthy Get http://127.0.0.1:10252/healthz: net/http: HTTP/1.x trans

二进制部署 Kubernetes 集群   提供的几种Kubernetes部署方式 minikube Minikube是一个工具,可以在本地快速运行一个单点的Kubernetes,尝试Kubernetes或日常开发的用户使用.不能用于生产环境. kubeadm Kubeadm也是一个工具,提供kubeadm init和kubeadm join指令,用于快速部署Kubernetes集群. 二进制包 从官方下载发行版的二进制包,手动部署每个组件,组成Kubernetes集群. 小结:生产环境中部署K

Elastic Stack之Redis集群使用 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客数据流走向:FileBeat ===>Redis  ===>logstash ===> elasticsearch.  一.安装Redis服务器 1>.安装repo源 [root@node105 ~]# [root@node105 ~]# yum -y install epel-release Loaded plugins: fastestmirror Loa

0x00 概述 本次采用二进制文件方式部署,本文过程写成了更详细更多可选方案的ansible部署方案 https://github.com/zhangguanzhang/Kubernetes-ansible和之前的步骤差不多都是和kubeadm步骤一样,不过这次所有kubelet全部走bootstrap不会像之前master上的kubelet生成证书,另外证书换成openssl生成 不建议使用secureCRT这个ssh软件复制本篇博客内容的命令,因为它的部分版本对包含多条命令的处理结果并不完美

0x00 单节点搭建和简述 minikube Minikube是一个工具,可以在本地快速运行一个单点的Kubernetes,尝试Kubernetes或日常开发的用户使用.不能用于生产环境. 官方地址:https://kubernetes.io/docs/setup/minikube/ kubeadm Kubeadm也是一个工具,提供kubeadm init和kubeadm join,用于快速部署Kubernetes集群. 官方地址:https://kubernetes.io/docs/refer