各机器及角色信息: 共10台机器,hostname与ip地址映射在此不做赘述.此为模拟开发环境安装,所以不考虑将NameNode和SecondaryNameNode安装在同一台机器. 节点 角色 namenode01 namenode namenode02 secondarynamenode datanode01 datanode datanode02 datanode datanode03 datanode datanode04 datanode datanode05 datanode dat…

网上关于rocketMq安装.集群配置的文章有很多,作为一个初学者,跟着网上的各种教程安装遇到了各种坑,可谓是一路坎坷.本文记录下rocketMq安装的完整过程.希望对你有一点帮助 安装rocketMq 基于MacOS10.14.6.jdk1.8 下载源码包 http://rocketmq.apache.org/dowloading/releases/ 解压 unzip rocketmq-all-4.4.0-source-release.zip 项目构建 # 进入解压目录 cd rocketmq…

目录 集群配置 集群部署规划 配置文件说明 配置集群 群起集群 1 配置workers 2 启动集群 总结 3 集群基本测试 上传文件到集群 查看数据真实存储路径 下载 执行wordcount程序 配置历史服务器 1 配置mapred-site.xml 2 分发mapred-site.xml 3 在hadoop102启动历史服务器 4 测试 配置日志的聚集 1 配置yarn-site.xml 2 分发yarn-site.xml 3 重启yarn对应的服务 4 测试 集群配置 现在各个服务器的准备…

一. HA概述 1. 所谓HA(High Available),即高可用(7*24小时不中断服务). 2. 实现高可用最关键的策略是消除单点故障.HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA. 3. Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF). 4 .   NameNode主要在以下两个方面影响HDFS集群 NameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启 NameNode机器需要升级,包括软件.硬件升级,此时集…

安装RabbitMQ RabbitMQ是流行的开源消息队列系统,用erlang语言开发,故首先需要安装erlang依赖及erlang. 安装erlang依赖的基本环境,通过yum方式进行安装: yum -y install gcc glibc-devel make ncurses-devel openssl-devel autoconf 下载并安装erlang,这里使用的是erlang-R15B-02.1.el6.x86_64.rpm,将其拷贝至虚机中并通过yum方式进行安装: yum -y i…

Zookeeper在ubuntu下安装及集群搭建,关于集群搭建,网上很多文章 可以参考:https://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/index.html 总结几点: a.  zookeeper启动依赖与java环境. b. zookeeper 启动文件是在其bin目录下zkServer.sh,启动方法:zkServer.sh start c.  查看zookeeper 启动状态 zkServer.sh stat…

1.解压 2.修改配置文件 cp zoo_sample.cfg zoo.cfg vim zoo.cfg dataDir=/usr/local/zookeeperData 其余采用默认 参数说明: tickTime: zookeeper中使用的基本时间单位, 毫秒值. dataDir: 数据目录. 可以是任意目录. clientPort: 监听client连接的端口号. 3.启动 ./bin/zkServer.sh start conf/zoo.cfg 4.验证是否启动成功 netstat -nt…

虚拟机使用vmware,vmware可以直接百度下载安装 秘钥也能百度到 安装很简单 CentOS 7下载: 进入官网 https://www.centos.org/download/ 这里有三种 第一个是标准版 第二个是全部版 第三个是最小版 每个版本的大小都不一样,这里选择标准版下载.点第一个标准版进入镜像 http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso 这里面有不同的镜像,找一个…

基于 HDP2.4安装(五):集群及组件安装 创建的hadoop集群,修改默认配置,将hbase 存储配置为 Azure Blob Storage 目录: 简述 配置 验证 FAQ 简述: hadoop-azure 提供hadoop 与 azure blob storage 集成支持,需要部署 hadoop-azure.jar 程序包,在HDP2.4 安装包中已默认提供,如下图: 配置成功后,读写的数据都存储在 Azure Blob Storage account 支持配置多个 Azure Bl…

Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了.      准备文件 从 http://archive.cloudera.com/cdh5/parcels/中下载CDH5.14.0的相关文件 把CDH5需要的安装文件放到主节点上,新建目录为 /opt/cloudera/parcel-repo 把我们之前下载的三个文件放到这个目录下 CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel CDH-5.14.0-1.cdh…