elasticsearch基于RBAC认证和集群之间的TLS通讯 一.背景 二.需要解决的问题 三.给es增加用户名和密码访问 1.修改config/elasticsearch.yml 2.访问es集群 3.启用es集群内建的用户 1.让es自动设置初始化密码 2.自动手动设置密码 3.重新访问es,输入用户名和密码 四.kibana连接到es集群 1.设置kibana的用户名和密码 2.访问kibana 3.通过kibana创建用户和角色 五.配置es集群之间的TLS通讯 1.何为es的生产模…

目录 目录 前言 集群详情 环境说明 安装前准备 提醒 一.创建TLS证书和秘钥 安装CFSSL 创建 CA (Certificate Authority) 创建 CA 配置文件 创建 CA 证书签名请求 生成 CA 证书和私钥 创建 kubernetes 证书 生成 kubernetes 证书和私钥 创建 admin 证书 生成 admin 证书和私钥 创建 kube-proxy 证书 生成 kube-proxy 客户端证书和私钥 校验证书 使用 opsnssl 命令 使用 cfssl-cer…

这是ElasticSearch 2.4 版本系列的第二篇: ElasticSearch入门 第一篇:Windows下安装ElasticSearch ElasticSearch入门 第二篇:集群配置 ElasticSearch入门 第三篇:索引 ElasticSearch入门 第四篇:使用C#添加和更新文档 ElasticSearch入门 第五篇:使用C#查询文档 ElasticSearch入门 第六篇:复合数据类型——数组,对象和嵌套 ElasticSearch入门 第七篇:分析器 Elasti…

庐山真面目之十二微服务架构基于Docker搭建Consul集群.Ocelot网关集群和IdentityServer版本实现 一.简介      在第七篇文章<庐山真面目之七微服务架构Consul集群.Ocelot网关集群和IdentityServer4版本实现>中,我们已经探讨了如何搭建基于Windows 环境的Consul服务集群.Ocelot网关集群和认证的微服务架构.我们是不是这样就算是完成了微服务架构的搭建了吗?当然没有了,生产环境中肯定不会在Windows系统下搭建这些,以前只不过是…

ElasticSearch和Kibana 5.X集群的安装 1.准备工作 1.1.下载安装包 1.2.系统的准备 2.ElasticSearch集群的安装 2.1.修改 config/elasticsearch.yml 文件 2.2.修改 bin/elasticsearch 文件 2.3.将整个ElasticSearch目录复制到其它服务器 2.4.将启动加入到系统服务(可选,方便启动) 2.5.启动集群 3.Kibana安装 3.1.修改配置文件 3.2.启动Kibana 1.准备工作 1.1…

一.集群角色 多机集群中的节点可以分为master nodes和data nodes,在配置文件中使用Zen发现(Zen discovery)机制来管理不同节点.Zen发现是ES自带的默认发现机制,使用多播发现其它节点.只要启动一个新的ES节点并设置和集群相同的名称这个节点就会被加入到集群中. Elasticsearch集群中有的节点一般有三种角色:master node.data node和client node. master node:master几点主要用于元数据(metadata)的处…

ElasticSearch 深入理解 三:集群部署设计 ElasticSearch从名字中也可以知道,它的Elastic跟Search是同等重要的,甚至以Elastic为主要导向. Elastic即可伸缩性,作为一个分布式的搜索引擎,可伸缩性是它的核心竞争力. Elastic&Shard 这两个词能放在在一起,因为ES的Elastic是建立在Shard的基础上.Shard作为ES伸缩性的基本单元,可以在不同的node之间迁移.例如我一个实际测试的例子: 两个节点的时候,一个index配置15个s…

基于docker安装pxc集群 一.PXC 集群的安装 PXC集群比较特殊,需要安装在 linux 或 Docker 之上.这里使用 Docker进行安装! Docker的镜像仓库中包含了 PXC数据库的官方镜像, 地址:https://hub.docker.com/r/percona/percona-xtradb-cluster/ 如下图所示: 一,镜像的安装 安装镜像的两种方式: docker pull percona/percona-xtradb-cluster docker load <…

文章转载自:https://mp.weixin.qq.com/s/alHHxXont6XFm_m9PfsGfw 1.什么是跨集群复制? 跨集群复制(Cross-cluster replication,简称:CCR)指的是:索引数据从一个 Elasticsearch 集群复制到另一个 Elasticsearch 集群. 对于主集群的索引数据的任何修改都会直接复制同步到从索引集群. 2.跨集群复制最早发布版本 Elasticsearch 6.7 版本. 3.跨集群复制的好处? 3.1 支持灾难恢复(…

前面主要学习了ElasticSearch分布式集群的存储过程中集群.节点和分片的知识(ElasticSearch 5学习(6)--分布式集群学习分享1),下面主要分享应对故障的一些实践. 应对故障 前面说了很多关于复制分片可以应对节点失效,很好保证集群的安全性,下面我们可以尝试杀掉第一个节点的进程,我们的集群变化成如下(所有的操作都是ElasticSearch自动处理): 我们杀掉的节点是一个主节点.一个集群必须要有一个主节点才能使其功能正常,所以集群做的第一件事就是各节点选举了一个新的主节点:…

在使用中我们把文档存入ElasticSearch,但是如果能够了解ElasticSearch内部是如何存储的,将会对我们学习ElasticSearch有很清晰的认识.本文中的所使用的ElasticSearch集群环境,可以通过查看ElasticSearch 5学习(3)--单台服务器部署多个节点搭建学习. ElasticSearch用于构建高可用和可扩展的系统.扩展的方式可以是购买更好的服务器(纵向扩展(vertical scale or scaling up))或者购买更多的服务器(横向扩展(…

根据Tomcat的官方文档说明可以知道,使用Tomcat配置集群需要与其它Web Server配合使用才可以完成,典型的有Apache和IIS. 这里就使用Apache+Tomcat方式来完成基于Tomcat在集群配置. 软件准备 1)Apache HTTP Server: 使用百度搜索httpd-2.2.25-win32-x86-no_ssl.msi,应该可以找到很多相关的下载链接.这里也提供一个:http://vdisk.weibo.com/s/C3trk_uGGkrmc 2)Tomcat…

基于Twemproxy的Redis集群方案(转) redis3.0 已经发布了几个月了,但是我这等菜鸟到网上还是没有找到很好的关于搭建redis3.0集群的文章,而且好像很多公司的redis版本还保持在2.8.*上,我估计没几个公司会直接出来新产品就会直接用吧,所以还是基于redis2.8来弄吧.由于是从redis3.0加入了不错的集群方案,那么2.8如何弄了. 上网找了一篇文章是针对于redis3.0以下的版本的集群方案,好东西不敢独享,拿出来共勉 http://www.infoq.com/c…

在不同版本号hdfs集群之间转移数据     最简单的办法就是把src集群的数据导到本地,然后起还有一个进程将本地数据传到des集群上去. 只是这有几个问题: 效率减少 占用本地磁盘空间 不能应付实时导数据需求 两个进程须要协调,复杂度添加     更好的办法是在同一个进程内一边读src数据,一边写des集群.只是这相当于在同一个进程空间内载入两个版本号的hadoop jar包.这就须要在程序中使用两个classloader来实现.      下面代码能够实现classloader载入自己定义的…

Kubernetes是Google开源的容器集群管理系统.它构建Docker技术之上,为容器化的应用提供资源调度.部署运行.服务发现.扩容缩容等整一套功能,可看作是基于容器技术的PaaS平台. 本文旨在介绍上元信安的WAF架构,我们实现一整套基于Kubernetes的WAF集群架构.实现了高可靠性.弹性扩容.灰度升级等功能. 整个集群由以下三个部分组成: l   SLB负载均衡,可以云端的负载均衡器(比如阿里云的SLB),也可以是硬件或软件的4层负载均衡.由负载均衡把HTTP请求分发到不同的No…

开发中一般使用Redis单机,线上使用Redis集群,因此需要实现单机和集群之间的灵活切换 pom配置: <!-- Redis客户端 --> <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> </dependency> </dependencies> Redis单机和集群之间的灵活切换的封装: JedisCl…

简介 Swarm:docker原生的集群管理工具,将一组docker主机作为一个虚拟的docker主机来管理. 对客户端而言,Swarm集群就像是另一台普通的docker主机. Swarm集群中的每台主机都运行着一个swarm节点代理,每个代理将该主机上的相关Docker守护进程注册到集群中.和节点代理相对应的是Swarm管理者,用于对集群进行管理. 运行Swarm的所有Docker节点必须运行着同一个版本的Docker. 基于zookeeper的Swarm集群搭建 1. 拉取Swarm镜像 d…

负载均衡集群企业级应用实战-LVS 实现基于LVS负载均衡集群的电商网站架构 背景:随着业务的发展,网站的访问量越来越大,网站访问量已经从原来的1000QPS,变为3000QPS,网站已经不堪重负,响应缓慢,面对此场景,单纯靠单台LNMP的架构已经无法承载更多的用户访问,此时需要用负载均衡技术,对网站容量进行扩充,来解决承载的问题.scale out? scale up? 总项目流程图,详见 http://www.cnblogs.com/along21/p/8000812.html LVS详解和…

基于Hadoop2.7.3集群数据仓库Hive1.2.2的部署及使用 HBase是一种分布式.面向列的NoSQL数据库,基于HDFS存储,以表的形式存储数据,表由行和列组成,列划分到列族中.HBase不提供类SQL查询语言,要想像SQL这样查询数据,可以使用Phonix,让SQL查询转换成hbase的扫描和对应的操作,也可以使用现在说讲Hive仓库工具,让HBase作为Hive存储. Hive是运行在Hadoop之上的数据仓库,将结构化的数据文件映射为一张数据库表,提供简单类SQL查询语言,称为…

Redis集群官方介绍:http://www.redis.cn/topics/cluster-tutorial.html 基于Docker搭建Redis集群 环境:6个节点,三主三从 制作Redis镜像:docker build -f dockerfile -t jiang/redis-cluster:4.0.1 . dockerfile文件: FROM redis:4.0.1 ENV TZ=Asia/Shanghai RUN ln -snf /usr/share/zoneinfo/$TZ /e…

注意本章内容是在上一篇文章“基于centos6.5 hadoop 集群搭建”基础上创建的 1.上传hbase安装包 hbase-0.96.2-hadoop2 我的目录存放在/usr/hadoop/hbase-0.96.2-hadoop2 2.解压 3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了) 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env.sh export JAVA_HOME=/us…

本文建立在你已经会安装prometheus服务的基础之上,如果你还不会安装,请参考:prometheus多维度监控容器 如果你还没有安装库k8s集群,情参考: 从零开始搭建基于calico的kubenetes 前言 kubernetes显然已成为各大公司亲睐的容器编排工具,各种私有云公有云平台基于它构建,那么,我们怎么监控集群中的所有容器呢?目前有三套方案: heapster+influxDB heapster为k8s而生,它从apiserver获取节点信息,每个节点kubelet内含了cAdv…

DistCp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具.可以将数据拷贝到另个一集群,也可以将另一个集群的数据拷贝到本集群.…

集群之间配置 SSH无密码登录 配置 ssh (1)基本语法 ssh 另一台电脑的 ip 地址 (2)ssh 连接时出现 Host key verification failed 的解决方法 # ssh 192.168.1.103 The authenticity of host '192.168.1.103 (192.168.1.103)' can't be established. RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd…

用途 ▷ 通过各个beat实时收集日志.传输至elasticsearch集群 ▷ 通过kibana展示日志 实验架构 名称:IP地址:CPU:内存 kibana&cerebro:192.168.75.20:1核:2G es-1:192.168.75.21:2核:4G es-2:192.168.75.22:2核:4G es-3:192.168.75.23:2核:4G 各beat均安装在ES集群上,也就是三个es主机节点 软件安装 版本说明: 均为7.3.0版本 注意事项 各组件版本必须一致,ela…

基于Docker部署ETCD集群 关于ETCD要不要使用TLS? 首先TLS的目的是为了鉴权为了防止别人任意的连接上你的etcd集群.其实意思就是说如果你要放到公网上的ETCD集群,并开放端口,我建议你一定要用TLS.如果你的ETCD集群跑在一个内网环境比如(VPC环境),而且你也不会开放ETCD端口,你的ETCD跑在防火墙之后,一个安全的局域网中,那么你用不用TLS,都行. 优化参数 --auto-compaction-retention 由于ETCD数据存储多版本数据,随着写入的主键增加历史…

原文地址:基于Twemproxy的Redis集群方案 概述 由于单台redis服务器的内存管理能力有限,使用过大内存redis服务器的性能急剧下降,且服务器发生故障将直接影响大面积业务.为了获取更好的缓存性能及扩展型,我们将需要搭建redis集群来满足需求.因redis 3.0 beta支持的集群功能不适合生产环境的使用,所以我们采用twitter正在使用的twemproxy来搭建redis缓存服务器集群,目前用户包括Pinterest.Tumblr.Twitter.Vine.Kiip.Wuak…

一,搭建基于consul的服务提供者集群 1,consul集群,共3个实例: 2, 服务提供者集群:共2个实例: 3,服务消费者:一个实例即可 4,consul集群的搭建,请参考: https://www.cnblogs.com/architectforest/p/13735545.html 5,演示例子实现生产环境中需要的高可用: consul server集群和服务提供者集群 说明:刘宏缔的架构森林是一个专注架构的博客,地址:https://www.cnblogs.com/architect…

最近陆陆续续有不少园友加我好友咨询 redis 集群搭建的问题,我觉得之前写的这篇 <基于Docker的Redis集群搭建> 文章一定是有问题了,所以我花了几分钟浏览之前的文章总结了下面几个问题: redis 数量太少,只创建了 3 个实例: 由于只有 3 个实例,所以全部只能是主节点,无法体现集群主从关系: 如何搭建主从集群?如何分配从节点? 基于之前的文章,我想快速的过一下这几个问题,本文基于 Docker + Redis 5.0.5 版本,通过 cluster 方式创建一个 6 个 re…

下面跟着我来 一步一步构建redis 集群吧. 集群的目录结构见GitHub源码(文章末尾) 1,安装docker环境,根据自身的操作系统,google下即可. 2,我们在服务器上,搭建所需目录结构.(我这里是Centos) 3,因为挂载了redis配置文件,所以要更改下redis.conf的权限,为了偷懒 我直接777了,不要学我 [root@localhost rediscluster]# chmod slave1/conf/redis.conf slave2/conf/redis.conf…