一.选择环境: 1.说明 本次部署使用台机器,3台用于搭建CDH集群,1台为内部源.内部源机器是可以连接公网的,可以提前部署好内部源,本次部署涉及到的服务器的hosts配置如下: 192.168.10.114    sp-04 192.168.10.115    sp-05 192.168.10.116    sp-06 本次安装为cdh5.10.0 需要centos版本: Jdk版本:jdk-8u73-linux-x64.tar 参考地址:https://www.cloudera.com/do…

1.修改主机名为master, slave1, slave2 vim /etc/sysconfig/network HOSTNAME = master HOSTNAME = slave1 HOSTNAME = slave2 2.修改hosts文件(三个节点都要设置) vim /etc/hosts 192.168.1.7 master 192.168.1.8 slave1 192.168.1.9 slave2 3.IP设置(三个节点都要设置) DEVICE=eth0 HWADDR=4C:CC:6A…

CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-总目录: 0.Windows 10本机下载Xshell,以方便往Linux主机上上传大文件 1.CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-1虚拟机安装及环境初始化 2.CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-2设置SSH免密登录 3.CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-3禁止交换和禁用大页面 4.CentOS7+CDH5.14.0安装全流程记录…

Centos6.8安装CDH5 相关包的下载地址: Cloudera Manager地址:http://archive.cloudera.com/cm5/cm/5/ CDH安装包地址:http://archive.cloudera.com/cdh5/parcels/latest/ 操作系统为centos6.8: 下载文件为以下: CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1…

参考资料:http://kafka.apache.org/quickstart 进入kafka安装目录(CDH安装路径为:/opt/cloudera/parcels/KAFKA):进入bin目录: cd /opt/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/bin 创建topic,一个备份,6个分区 kafka-topics --create --zookeeper personas1:2181 --replication-factor 1 --p…

1.安装方式 CDH的离线部署安装,即Parcel包(推荐) 2.角色规划 三个节点对应的角色: 3.基本环境配置(在每个节点上都要配置) (1)关闭防火墙 #/etc/init.d/iptables stop # chkconfig --level 345 iptables off (2)关闭seliux # vim /etc/sysconfig/selinux SELINUX=disabled (3)ip和主机名对应 #vim /etc/hosts 172.16.101.54    sht-…

Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了.      准备文件 从 http://archive.cloudera.com/cdh5/parcels/中下载CDH5.14.0的相关文件 把CDH5需要的安装文件放到主节点上,新建目录为 /opt/cloudera/parcel-repo 把我们之前下载的三个文件放到这个目录下 CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel CDH-5.14.0-1.cdh…

配置NTP服务.标准的做法是配置NTP服务器,但是这里为了方便就用简化的方式配置了. 这个在安装初期,不是必须的,只要保证各机器的时间同步就行,使用如下命令可以查看时间是否同步: [root@cdh1 ~]# date;ssh cdh2 date; 2019年 04月 12日 星期五 16:19:58 CST 2019年 04月 12日 星期五 16:19:59 CST 时间差1-2秒钟就没事. 确保每台机器的ntpd服务都是启动状态,否则后面CDH安装完成后,主机状态会是错误状态. syste…

错误:HBase服务出现 该运行状况测试不良,因为 Service Monitor 未找到活动 Master 如果重启服务之后无法排除该问题,请执行如下操作(CM换成自己的版本号): rm -f /opt/cloudera-manager/cm-5.10.1/lib/cloudera-scm-agent/cm_guid 每台机器都执行一遍,然后重启客户端代理,执行如下代码: /opt/cm-5.10.1/etc/init.d/cloudera-scm-agent start…

主机错误: 该主机与 Cloudera Manager Server 失去联系的时间过长. 该主机未与 Host Monitor 建立联系 解决办法: 首先查看该主机NTP服务是否启动:https://www.cnblogs.com/sisimi/p/7698452.html 如果已经启动,请查看客户端服务是否启动:/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start 启动之后主机一切正常.…

Hue错误: Load Balancer 该角色的进程启动失败 解决办法:主机能够联网情况下,直接运行如下命令即可在线安装openssl.httpd 需要提前安装环境  httpd, mod_ssl yum install httpd yum install mod_ssl 安装好之后, 重启就好了 如果不能联网解决此错误需要离线安装:httpd.openssl.pcre离线安装 离线安装httpd是个比较曲折的过程. 安装包准备: httpd安装包下载: 各历史版本下载地址:http://ht…

主节点安装cloudera manager 准备工作:下载CM和mysql连接驱动包: CM各版本下载地址:http://archive.cloudera.com/cm5/cm/5/ 从里面选择:http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz 下载即可. Mysql JDBC下载地址:http://download.softagency.net/MySQL/Downloads…

1.安装JDK 可以不用卸载自带的openjdk,配好环境变量即可. 下载文件:jdk-8u151-linux-x64.tar.gz 附:JDK各版本下载地址:https://www.oracle.com/technetwork/java/javase/archive-139210.html 在里面找相应版本即可. 使用xshell上传到每台机器上面,并直接解压到usr/java目录下 详细步骤如下: 1.1.把jdk文件保存至Linux下目录:通过控制台,使用mkdir命令生成usr/java…

1.禁止交换(每台机器都要做): 执行命令:vim /etc/sysctl.conf 增加一行:vm.swappiness=0 执行命令:sudo sysctl vm.swappiness=0 2.禁用大页面(每台机器都要做): 执行命令: echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled 执行命令,修改配置:vim /…

1.软件准备: VMware-workstation-full-14.1.2-8497320.exe CentOS-7-x86_64-DVD-1804.iso 2.VMare激活码: AU5WA-0EF9M-0811P-REP5X-ZFK9A ZV382-6VX96-H81LP-1ZZG9-PVKF4 GU34A-41G4Q-H88CY-3WPNT-XUK8F 3.安装CentOS 机器名 IP 内存 硬盘 CPU cdh1 192.168.43.101 8 40 1cpu,2内核 cdh2 1…

因为hadoop集群在安装的时候需要集群中所有机器的权限. 所以我们需要打通所有节点的ssh无密码登陆,思路是生成每台机子的密钥,集中在一个文件中,再分发到每台机子上. 为了确保下面的命令能顺利执行,请先重启所有节点并且保证所有节点能够通过主机名ping通. 配置免密登录有两种方式,一种简单的: 1.执行命令,生成秘钥: ssh-keygen -t rsa 2.进入.ssh目录: cd ~/.ssh 3.拷贝到要免密码登陆的机器,要免密登陆那个机器,就写该机器的ip.3台机器的话两两之间都要做了…

错误提示: HiveServer2 该角色的进程已退出.该角色的预期状态为已启动 解决办法:出现此问题应该是内存不足造成的,重启相应的组件即可.比如Hive报错,重启Hive,YARN报错,重启YARN. 还有这个错误:当前运行状况不良. 以下运行状况测试不良: 进程状态. 也是重启组件就好了.…

检查环境 在正式开始安装CDH之前最好先检查一下能不能相互免密ssh,以及防火墙是否关闭,集群中的时间是否统一,java版本是否是oracle的版本,主节点mysql是否安装正确等. ssh测试 例如在cm0中ssh cm1exitssh cm2exit例如在cm1中ssh cm0exitssh cm2exit例如在cm2中ssh cm0exitssh cm1exit 时间是否统一 每台机子中使用date 命令查看当前时间,最好是完全一样或者差距不大即可. 或者在cm0中使用命令 date;ss…

纠结了好久,还是花钱了3个4核8G的阿里云主机,且行且珍惜,想必手动搭建过Hadoop集群的完全分布式.HBase的完全分布式的你(当然包括我,哈哈),一定会抱怨如此多的配置,而此时CDH正是解决我们烦恼的时候. 下面安装过程比较长,所以一定要有耐心. 一.CDH介绍 以下是官网给的介绍:个人感觉就是对hadoop环境的封装 二.为什么选择CDH? Cloudera 常年坚持季度发型update版本,年度发行Release版本,更新速度比Aapche官方快,而且在实际使用过程中CDH表现无比稳定…

CentOS 7.3 CDH 5.10.0安装记录 0. 集群规划192.167.1.247 realtime247 realtime+hadoopdata192.167.1.248 broker248 broker192.167.1.249 history249 middleware+history+hadoopdata192.167.1.250 history250 middleware+history+hadoopdata192.167.1.251 master251 Mysql+coor…

关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机.Hadoop.Hive.Spark等服务的安装配置管理做了极大简化. 环境说…

又重新安装Hive,记录一下吧: hadoop早已经装上了. cdh5的hive下载地址: http://archive.cloudera.com/cdh5/cdh/5/ 下载文件:hive-1.1.0-cdh5.10.0.tar.gz 操作系统版本:CentOS cat /etc/redhat-release CentOS Linux release 7.3.1611 (Core) 安装MariaDB库 略 上传并解压安装文件: -cdh5.10.0.tar 拷贝jdbc包到hive的lib目…

参考文档:http://spark.apache.org/docs/1.6.0/building-spark.html spark安装需要选择源码编译方式进行安装部署,cdh5.10.0提供默认的二进制安装包存在未知问题,如果直接下载spark二进制安装文件,配置完成后会发现启动spark及相关使用均会报错. 编译spark需要联网,spark使用scala语言编写,所以运行spark需要scala语言,上一步已经安装了scala,scala使用java编写,所以安装scala需要jdk支持,上…

序言 本文集群搭建为三台机器,cdh版本为5.13.0,以下是安装过程中所用到的软件包等,可以自行下载.一.前期准备1.安装环境 系统:centos7.5/最小安装版本/64位 内存:主节点 --> 32G/从节点 --> 16G 三台机器组成小集群(物理机) cdh01 cdh02 cdh03 需要下载的安装包 cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz CDH相关(注意下载相应系统的安装包) CDH-5.13.0-1.cdh5.13.0.…

相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 CentOS7安装CDH 第四章:CDH的版本选择和安装方式 CentOS7安装CDH 第五章:CDH的安装和部署-CDH5.7.0 CentOS7安装CDH 第六章:CDH的管理-CDH5.12 CentOS7安装CDH 第七章:CDH集群Hadoop的HA配置 CentOS7安装CDH 第八章:…

1.安装jdk mkdir -p /usr/java tar zxvf jdk-7u80-linux-x64.tar.gz -C /usr/java/ vi /etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_80 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib source /etc/profile alte…

p.MsoNormal { margin: 0pt; margin-bottom: .0001pt; text-align: justify; font-family: Calibri; font-size: 10.5000pt } p.15 { margin: 0pt; margin-bottom: .0001pt; text-indent: 21.0000pt; text-align: justify; font-family: Calibri; font-size: 10.5000pt }…

最近看了一下MariaDB的常规复制章节,就按部就班的搭建了一下最简单的主从复制.需要的硬件环境很简单(在虚拟机VMware中搭建): 1:两台server:Master: 192.168.6.133  Slave:192.168.6.132 2:网络配置,这里图个简单,直接关闭master的防火墙 [root@master Desktop]# service iptables stop 概览实现主从复制需要完成的配置: 1:主从集群里面的每台server需要有一个唯一的server_id,下面…

更新说明: 20171009:增加3.5的内容 20171008:整理出gitlab部署手册 =============================================== gitlab接触了一段时间,觉得是一个很不错的开源产品(gitlab的社区版),值得我整理一篇部署教程作为记录. 安装全程选择的用户为root. 一.环境准备 操作系统:centos7(minimal,www.centos.org下载的包是CentOS-7-x86_64-Minimal-1708.iso)  …

Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)------https://blog.csdn.net/pucao_cug/article/details/71698903 Centos7完全分布式搭建Hadoop2.7.3------https://www.cnblogs.com/ksWorld/p/6704867.html CentOS7安装Hadoop2.7.3完整流程及总结----https://blog.csdn.net/wl0909/article/det…