elasticsearch2.2 集群搭建各种坑

目前生产环境的es版本是1.0版本,需要升级到最新的2.2版本,于是在测试环境进行部署集群测试,在测试过程中遇到的坑相当多,下面详细介绍下. 1. 版本升级到2.2后,必须建一个单独的账号用于启动elasticsearch,不可以使用root账号进行启动,否则会报以下错误 Exception in thread "main" java.lang.RuntimeException: don't run elasticsearch as root. 2. 如…

redis集群搭建踩坑笔记

推荐参考教程:https://blog.csdn.net/pucao_cug/article/details/69250101 错误: from /usr/lib/ruby/2.3.0/rubygems/core_ext/kernel_require.rb:55:in `require' from /usr/local/redis-3.0.6/src/redis-trib.rb:25:in `<main>' 解决: gem install redis (最新) sudo gem install…

Redis集群搭建采坑总结

背景先澄清一下,整个过程问题都不是我解决的,我在里面就是起了个打酱油的角色.因为实际上我负责这个项目,整个过程也比较清楚.之前也跟具体负责的同事说过,等过段时间带他做做项目复盘.结果一直忙,之前做的事情都快忘了也没带他做复盘.所以趁着还记得,总结一下这个问题,也算一起做个复盘总结了. 本周一的时候,我们测试环境遇到一个问题:启动一个服务就会导致后端调用耗时增加.当时咨询了对这个问题之前有了解的同事得到的答复是因为一笔请求发到两套测试环境(一个请求需要在两套环境下运行结果做对比),因为这两套环境…

Kafka 0.9+Zookeeper3.4.6集群搭建、配置，新Client API的使用要点，高可用性测试，以及各种坑（转载）

Kafka 0.9版本对java client的api做出了较大调整,本文主要总结了Kafka 0.9在集群搭建.高可用性.新API方面的相关过程和细节,以及本人在安装调试过程中踩出的各种坑. 关于Kafka的结构.功能.特点.适用场景等,网上到处都是,我就不再赘述了,直接进入正文 Kafka 0.9集群安装配置操作系统:CentOS 6.5 1. 安装Java环境 Zookeeper和Kafka的运行都需要Java环境,所以先安装JRE,Kafka默认使用G1垃圾回收器,如果不更改垃圾回收器…

搭建redis集群遇到的坑

搭建redis集群遇到的坑 #!/bin/bash # 作者: tuhooo # 日期: 2017.4.23 20.15 # 用途: 通过ruby脚本启动redis伪集群 if [ $2 == "start" ]; then echo "正在启动redis实例" echo "正在启动redis集群......" PARAM="" cd /usr/local/redis-cluster/ for num in 1 2 3 4 5…

二、redis集群搭建

redis集群搭建 redis3.0后支持集群.集群中应该至少有三个节点,每个节点有一备份节点.需要6台服务器.搭建伪分布式,需要6个redis实例.搭建集群的步骤: 一.安装单机版redis 第一步:安装gcc编译环境 yum install gcc-c++ 第二步:把redis的源码上传到linux服务器. 第三步:解压缩.tar -zxvf redis-3.0.0.tar.gz 第四步:make 第五步:make install PREFIX=/usr/local/redis 二.配置启动…

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建图文详解

引言在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单机的搭建,是因为作为个人学习的话,单机已足以,好吧,说实话是自己的电脑不行,使用虚拟机实在太卡了... 整个的集群搭建是在公司的测试服务搭建的,在搭建的时候遇到各种各样的坑,当然也收获颇多.在成功搭建大数据集群之后,零零散散的做了写笔记,然后重新将这些笔记整理了下来.于是就有了本篇博文. 其实我在搭…

Kafka相关内容总结（Kafka集群搭建手记）

简介 Kafka is a distributed,partitioned,replicated commit logservice.它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现.kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)成为broker.无论是kafka集群,还是producer和consumer都依赖于zookeeper…

redis4.0.6集群搭建

文件环境:CentOS7 + redis4.0.6 先去官网下载redis:https://redis.io/,然后上传到你的虚拟机,我上传到了/mysoft 先解压->然后进入主目录->安装安装完,进入src目录,将文件复制到目录进入目录,在这里我们建立一个redis集群文件夹,以及用来存放节点配置文件的三个文件夹7001,7002,7003. 将redis主目录里面的配置文件拷贝到这三个文件夹 vim /redis.conf 注意:如果不把bind的127.0.0.1改成网络ip,之后…

Zookeeper3.4.10 + ActiveMQ-5.15.0 集群搭建

网上的教程真的是凤毛麟角,就不想说啥了,一次一次把我带入坑. 好了关于Zookeeper的搭建已经说好了,本文说说基于Zookeeper的MQ集群. 第一步.将mq安装包上传到CentOS7,并解压我这里有个 /mysoft 的路径,用来存放安装包的.执行命令: [root@localhost mysoft]# ll total -rw-r--r--. root root Jul : apache-activemq--bin.tar.gz -rw-r--r--. root root J…

Hadoop3集群搭建之——hbase安装及简单操作

折腾了这么久,hbase终于装好了 ------------------------- 上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装在安装之前,查了一下资料,关于hbase与hadoop兼容性的. 最开始看hadoop的时候,在好像慕课网上看的,hadoop全家桶之间的兼容性问题(以前被java web的各种jar包坑坏了的Java菜鸟,心理有点小阴影…

MongoDB分布式集群搭建

最近在做一个关于车险的项目,由于数据量较大,实验室的Boss决定采用HBase+ES/MongoDB这两种方案,并做性能对比,本人负责MongoDB方案.为了满足海量数据的存储要求,需要搭建一个分布式MongoDB集群.在搭建整过集群的过程中,可谓是各种坑,多次无奈得想放弃,然而在最后一次居然成功了!下面就是MongoDB集群搭建过程的详细步骤: 一.准备6个节点,每个节点的系统都为Ubantu 12.04,内存16G,硬盘500G,节点IP分别为 59.77.236.113 (mongo1),…

Hadoop3集群搭建之——安装hadoop，配置环境

接上篇:Hadoop3集群搭建之——虚拟机安装下篇:Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作上篇已经安装好了虚拟机了,现在开始配置环境,安装hadoop 注:hadoop集群最少需要三台机,因为hdfs副本数最少为3,单机不算我搭了三台机 1.创建hadoop用户,hadoopgroup组 groupadd -g hadoopgroup # 创建用户组 useradd -d /opt/hado…

Elasticsearch6.2集群搭建

Elasticsearch6.2集群搭建 2018年04月02日 11:07:45 这个名字想了很久阅读数:14154 版权声明:本博客为学习.笔记之用,以笔记形式记录学习的知识与感悟.学习过程中可能参考各种资料,如觉文中表述过分引用,请务必告知,以便迅速处理.如有错漏,不吝赐教. https://blog.csdn.net/qq_34021712/article/details/79330028 原文地址,转载请注明出处:https://blog.csdn.net/qq_3402171…

RabbitMQ的安装及集群搭建方法

RabbitMQ安装 1 安装erlang 下载地址:http://www.erlang.org/downloads 博主这里采用的是otp_src_19.1.tar.gz (200MB+) [root@hidden util]# tar zxvf otp_src_19.1.tar.gz [root@hidden util]# cd otp_src_19.1 [root@hidden otp_src_19.1]# ./configure --prefix=/opt/erlang [root@hi…

MHA 高可用集群搭建（二）

MHA 高可用集群搭建安装scp远程控制http://www.cnblogs.com/kevingrace/p/5662839.html yum install openssh-clients mysql5.7运行环境:centos6.51 主机部署 manager:192.168.133.141test1: 192.168.133.138test2:192.168.133.139 (为master1的备用)test3: 192.168.133.140 test1为主,test2和test3为备…

apache-storm-1.0.2.tar.gz的集群搭建（3节点）（图文详解）（非HA和HA）

不多说,直接上干货! Storm的版本选取我这里,是选用apache-storm-1.0.2.tar.gz apache-storm-0.9.6.tar.gz的集群搭建(3节点)(图文详解) 为什么我用过storm-0.9.6版本,我还要用storm-1.0.2? storm集群也是由主节点和从节点组成的. storm版本的变更: storm0.9.x storm0.10.x storm1.x 前面这些版本里面storm的核心源码是由Java+clojule组成的. storm2.x…

阿里云ECS服务器部署HADOOP集群（二）：HBase完全分布式集群搭建（使用外置ZooKeeper）

本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里云ECS服务器:master, slave1, slave2 操作系统:CentOS 7.3 Hadoop:hadoop-2.7.3.tar.gz Java: jdk-8u77-linux-x64.tar.gz HBase: hbase-1.2.6-bin.tar.gz ZooKeeper: zoo…