把4个节点加12G内存,把hive的heap调到6G,按group重启服务让配置生效 注: 停服务前在yarn的application webui查flink的application id yarn application -kill application_1567486895264_9227 1/ CDH停集群各服务,停CM.命令停mysql服务,停nginx,停机扩容磁盘systemctl stop mariadb.service或systemctl stop mysqld.service

Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了.      准备文件 从 http://archive.cloudera.com/cdh5/parcels/中下载CDH5.14.0的相关文件 把CDH5需要的安装文件放到主节点上,新建目录为 /opt/cloudera/parcel-repo 把我们之前下载的三个文件放到这个目录下 CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel CDH-5.14.0-1.cdh

CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-总目录: 0.Windows 10本机下载Xshell,以方便往Linux主机上上传大文件 1.CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-1虚拟机安装及环境初始化 2.CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-2设置SSH免密登录 3.CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-3禁止交换和禁用大页面 4.CentOS7+CDH5.14.0安装全流程记录

一.安装cloudera manager(下文简称cm) (一).环境及软件准备: 1.环境:Ubuntu16.04 desktop x 3 台 ip分别为:10.132.226.121,10.132.226.122,10.132.226.123 用户统一使用root用户 2.需下载安装的软件: cm压缩包:cloudera-manager-xenial-cm5.14.2_amd64.tar.gz CDH离线资源包(parcels): CDH-5.14.2-1.cdh5.14.2.p0.3-xe

CDH5.14.0版本说明 CDH最早版本只包含hadoop.hive.hbase等基础组件,CDH5.14.0版本目前已经封装了spark.impala.kudu(CDH 5.13.x开始)等众多组件,但是目前kafka和CDH还是分离的,如果需要cdh离线安装kafka,需要单独下载kafka的parcel,具体请参考:kafka的cdh安装指导 服务器规划 主机名 IP地址 CM角色 配置 cm-1 192.168.25.130 server 内存2G处理器4核物理空间40G cm-2 1

Tags: Hadoop Centos7.5安装分布式Hadoop2.6.0+Hbase+Hive(CDH5.14.2离线安装tar包) Centos7.5安装分布式Hadoop2.6.0+Hbase+Hive(CDH5.14.2离线安装tar包) 主机环境 软件环境 主机规划 主机安装前准备 安装jdk1.8 安装zookeeper 安装hadoop 配置HDFS 配置YARN 集群初始化 启动HDFS 启动YARN 整个集群启动顺序 启动 停止 Hbase安装 Hive安装 主机环境 基本配

在cdh5.14.4安装完成并排错完成的情况下,进行如下kylin安装操作: 1.实验环境 三台CentOS 7主机,IP地址 192.168.43.129 cm1 192.168.43.130 cm2 192.168.43.131 cm3 JDK版本:1.8.0_151CDH版本:5.14.4Kylin版本:2.4.1 Mysql版本:5.6.34 mysql-connector版本:mysql-connector-java-5.1.40 2.kylin下载 https://archive.a

主节点安装cloudera manager 准备工作:下载CM和mysql连接驱动包: CM各版本下载地址:http://archive.cloudera.com/cm5/cm/5/ 从里面选择:http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz 下载即可. Mysql JDBC下载地址:http://download.softagency.net/MySQL/Downloads

作者:张华  发表于:2014-06-23版权声明:能够随意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明 (http://blog.csdn.net/quqi99 ) Ceph理论    见我的博客:http://blog.csdn.net/quqi99/article/details/32939509 注意点: a, 一个ceph cluster至少须要1个mon节点和2个osd节点才干达到active + clean状态(故osd pool default size得

主机错误: 该主机与 Cloudera Manager Server 失去联系的时间过长. 该主机未与 Host Monitor 建立联系 解决办法: 首先查看该主机NTP服务是否启动:https://www.cnblogs.com/sisimi/p/7698452.html 如果已经启动,请查看客户端服务是否启动:/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start 启动之后主机一切正常.

1.安装JDK 可以不用卸载自带的openjdk,配好环境变量即可. 下载文件:jdk-8u151-linux-x64.tar.gz 附:JDK各版本下载地址:https://www.oracle.com/technetwork/java/javase/archive-139210.html 在里面找相应版本即可. 使用xshell上传到每台机器上面,并直接解压到usr/java目录下 详细步骤如下: 1.1.把jdk文件保存至Linux下目录:通过控制台,使用mkdir命令生成usr/java

因为hadoop集群在安装的时候需要集群中所有机器的权限. 所以我们需要打通所有节点的ssh无密码登陆,思路是生成每台机子的密钥,集中在一个文件中,再分发到每台机子上. 为了确保下面的命令能顺利执行,请先重启所有节点并且保证所有节点能够通过主机名ping通. 配置免密登录有两种方式,一种简单的: 1.执行命令,生成秘钥: ssh-keygen -t rsa 2.进入.ssh目录: cd ~/.ssh 3.拷贝到要免密码登陆的机器,要免密登陆那个机器,就写该机器的ip.3台机器的话两两之间都要做了

什么情况下使用ActiveMQ? 1     多个项目之间集成 (1) 跨平台 (2) 多语言 (3) 多项目 2     降低系统间模块的耦合度,解耦 软件扩展性 3     系统前后端隔离 前后端隔离,屏蔽高安全区 安装步骤: 第一步:安装jdk,因为activemq依赖jdk来运行 请参照: Linux中安装jdk 第二步:下载对应的jar包,上传并解压 第三步:启动 cd apache-activemq-5.14.5/bin/ ./activemq console     日志打印至控制

1.Cdh 5.14介绍 2.版本发布概要 3.安装要求 4.Cloudera Manager介绍 5.Cloudera 安装 6.Cloudera 管理 7.Cloudera Navigator Cloudera Navigator使用 审计 8.Cloudera 操作 9.Cloudera 安全 10.文件格式和压缩 11.Flume指南 12.Hbase指南 Hbase使用 Hbase高可用 Hbase灾备 Hbase调优 13.Hive指南 Hive使用 Hive高可用 Hive灾备 H

错误:HBase服务出现 该运行状况测试不良,因为 Service Monitor 未找到活动 Master 如果重启服务之后无法排除该问题,请执行如下操作(CM换成自己的版本号): rm -f /opt/cloudera-manager/cm-5.10.1/lib/cloudera-scm-agent/cm_guid 每台机器都执行一遍,然后重启客户端代理,执行如下代码: /opt/cm-5.10.1/etc/init.d/cloudera-scm-agent start

错误提示: HiveServer2 该角色的进程已退出.该角色的预期状态为已启动 解决办法:出现此问题应该是内存不足造成的,重启相应的组件即可.比如Hive报错,重启Hive,YARN报错,重启YARN. 还有这个错误:当前运行状况不良. 以下运行状况测试不良: 进程状态. 也是重启组件就好了.

Hue错误: Load Balancer 该角色的进程启动失败 解决办法:主机能够联网情况下,直接运行如下命令即可在线安装openssl.httpd 需要提前安装环境  httpd, mod_ssl yum install httpd yum install mod_ssl 安装好之后, 重启就好了 如果不能联网解决此错误需要离线安装:httpd.openssl.pcre离线安装 离线安装httpd是个比较曲折的过程. 安装包准备: httpd安装包下载: 各历史版本下载地址:http://ht

检查环境 在正式开始安装CDH之前最好先检查一下能不能相互免密ssh,以及防火墙是否关闭,集群中的时间是否统一,java版本是否是oracle的版本,主节点mysql是否安装正确等. ssh测试 例如在cm0中ssh cm1exitssh cm2exit例如在cm1中ssh cm0exitssh cm2exit例如在cm2中ssh cm0exitssh cm1exit 时间是否统一 每台机子中使用date 命令查看当前时间,最好是完全一样或者差距不大即可. 或者在cm0中使用命令 date;ss

配置NTP服务.标准的做法是配置NTP服务器,但是这里为了方便就用简化的方式配置了. 这个在安装初期,不是必须的,只要保证各机器的时间同步就行,使用如下命令可以查看时间是否同步: [root@cdh1 ~]# date;ssh cdh2 date; 2019年 04月 12日 星期五 16:19:58 CST 2019年 04月 12日 星期五 16:19:59 CST 时间差1-2秒钟就没事. 确保每台机器的ntpd服务都是启动状态,否则后面CDH安装完成后,主机状态会是错误状态. syste

1.禁止交换(每台机器都要做): 执行命令:vim /etc/sysctl.conf 增加一行:vm.swappiness=0 执行命令:sudo sysctl vm.swappiness=0 2.禁用大页面(每台机器都要做): 执行命令: echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled 执行命令,修改配置:vim /

1.软件准备: VMware-workstation-full-14.1.2-8497320.exe CentOS-7-x86_64-DVD-1804.iso 2.VMare激活码: AU5WA-0EF9M-0811P-REP5X-ZFK9A ZV382-6VX96-H81LP-1ZZG9-PVKF4 GU34A-41G4Q-H88CY-3WPNT-XUK8F 3.安装CentOS 机器名 IP 内存 硬盘 CPU cdh1 192.168.43.101 8 40 1cpu,2内核 cdh2 1