安装Cloudera Manager Server 和Agent

1、在cdh1解压cloudera-manager-el6-cm5.9.0_x86_64.tar.gz(cdh1节点)
tar -zcvf cloudera-manager-el6-cm5.9.0_x86_64.tar.gz

2、为Cloudera Manager 5建立数据库(cdh1节点)

2.1:复制 mysql-connector-java-5.1.30.jar到/opt/cm-5.10.0/share/cmf/lib/目录下
cp mysql-connector-java-5.1.30.jar /opt/cm-5.9.0/share/cmf/lib/

2.2:在主节点初始化CM5的数据库:

/opt/cm-5.9.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm

3、Agent配置(cdh1节点)

3.1:修改/opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名:

vi /opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini

serverhost = cdh1

3.2:同步Agent到其他节点

scp -r /opt/cm-5:9.0/ root@cdh2:/opt/

scp -r /opt/cm-5.9.0/ root@cdh3:/opt/

4、创建cloudera-scm用户(所有节点)

useradd --system --home=/opt/cm-5.9.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

5、准备Parcels,用以安装CDH5(cdh1节点)

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中

CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel

CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1

manifest.json

注:将CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1重命名为CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha

5、启动cm服务(cdh1节点)和Agent服务(所有节点)

/opt/cm-5.9.0/etc/init.d/cloudera-scm-server start   #启动服务端。

/opt/cm-5.9.0/etc/init.d/cloudera-scm-agent start   #启动Agent服务。

需要停止服务将以上的start参数改为stop就可以了,重启是restart。

6、访问http://192.168.189.128:7180/

Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了。

这时可以通过浏览器访问主节点cdh1的7180端口测试一下了(由于CM Server的启动需要花点时间,这里可能要等待一会才能访问)

默认的用户名和密码均为admin

7、CDH5的安装配置

按照界面操作直接进行:我就不一一截图了,总结下遇到的错误。

7.1、修改配置(所有节点)

解决办法:

临时修改:echo 0 > /proc/sys/vm/swappiness

重启生效:vim /etc/sysctl.conf

添加一行vm.swappiness=10

临时:

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

或添加上面二行:vi /etc/rc.local

7.2安装hive的时候回提示缺少mysql连接驱动(cdh1节点)

cp  /opt/mysql-connector-java-5.1.30.jar  /opt/cloudera/parcels/CDH-5.9.0-1.cdh5.9.0.p0.23/lib/hive/lib/

7.3安装oozie的时候提示没有权限建目录和缺少mysql驱动(cdh1节点)

修改/var/lib/oozie 目录权限 : chmod 777 /var/lib/oozie

cp  /opt/mysql-connector-java-5.1.30.jar /var/lib/oozie/

注;几个配置警告是因为jvm内存设置太小和datanode节点数少于3个的原因。

CM和CDH的安装-进阶完成的更多相关文章

  1. CM和CDH的安装-准备工作

    估计要分开来两篇博客说明,因为截图较多. 1.三个节点cdh1(主节点),cdh2,cdh3 配置就用一张图来说明,因为资源有限 2.版本依赖说明: CDH-5.9.0-1.cdh5.9.0.p0.2 ...

  2. product of大数据平台搭建------CM 和CDH安装

    一.安装说明 CM是由cloudera公司提供的大数据组件自动部署和监控管理工具,相应的和CDH是cloudera公司在开源的hadoop社区版的基础上做了商业化的封装的大数据平台. 采用离线安装模式 ...

  3. CDH 离线安装 CM

    CDH支持Yum包,Tar包,RPM包,Cloudera Manager(CM)四种安装方式 Cloudera Manager(CM) 用于CDH集群管理,可进行节点安装,配置,服务管理等,提供Web ...

  4. Coudera-Manager/CDH的安装和部署

    由于之前部署的集群采用的是用apache hadoop的方式来实现,但是考虑到运维的成本问题,下面将apache hadoop转换成cloudera cdh.下面主要讲解一下cloudera cdh的 ...

  5. CDH离线安装

    1. 安装准备 系统:Centos 6 Cloudera Manager分配如下: 安装版本:CDH-5.8.0 所需安装文件 CDH相关 CDH-5.8.0-1.cdh5.8.0.p0.42-el6 ...

  6. CentOS7安装CDH 第五章:CDH的安装和部署-CDH5.7.0

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  7. cdh 上安装spark on yarn

    在cdh 上安装spark on yarn 还是比较简单的,不需要独立安装什么模块或者组件. 安装服务 选择on yarn 模式:上面 Spark 在spark 服务中添加 在yarn 服务中添加 g ...

  8. CentOS7安装CDH 第十章:CDH中安装Spark2

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  9. CentOS7安装CDH 第九章:CDH中安装Kafka

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

随机推荐

  1. Java设计模式(11)外观模式(Facade模式)

    外观模式(Facade)的定义:为子系统中的一组接口提供一个一致的界面. Facade一个典型应用就是数据库JDBC的应用,如下例对数据库的操作: public class DBCompare { C ...

  2. Java:集合与数组转换

    List,Set转换为数组的方法. toArray函数有两种形式,一种无参数,一种带参数,注意带参数形式中,要指明数组的大小. public void convertCollectionToArray ...

  3. e782. 排列JList中的项

    By default, the items in a list are arranged vertically, in a single column, as in: item1 item2 ... ...

  4. OpenStack提交代码的review流程

    本文整理向openstack社区提交代码的基本流程,以及社区一些介绍资料.如有转载,请注明出处! 先放张图说明一下OpenStack的code review的大体流程: 对OpenStack提交代码更 ...

  5. Linux——ps(列出进程)

    ps是Linux系统中用于查看进程状况的命令,用于显示当前系统中进程的快照.ps会显示部分当前活动的进程信息,不同于top指令,top指令会实时的更新所显示的进程动态. Linux的ps指令兼容了多种 ...

  6. Windows2008安装WebSphere 6.1提示此安装程序不能在图形方式中运行

    推荐的解决方式:http://blog.sina.com.cn/s/blog_4b010fb50100n1mk.html 在一般情况下,安装Websphere是直接运行launchpad.exe,然后 ...

  7. SecureCRT同时发送命令到所有主机

    有时候我们需要在多台服务器上执行相同的命令,比如安装软件,复制,粘贴,删除等等,但一台一台的去操作工作量就太大了,我们可以借助SecureCRT这款客户端远程连接工具实现这样的要求! 相关阅读: 如何 ...

  8. redis集群【转】

    一.环境 系统    CentOS7.0 64位最小化安装 redis1    172.16.1.46    6379,6380 redis2    172.16.1.47    6379,6380 ...

  9. oracle装载表是什么?

    oracle装载表即通过sqlloader的方式导入数据. Oracle 的SQL*LOADER可以将外部数据加载到数据库表中.下面是SQL*LOADER的基本特点: 1)能装入不同数据类型文件及多个 ...

  10. Android检查设备是否可以访问互联网,判断Internet连接,测试网络请求,解析域名

    安卓SDK提供了ConnectivityManager类,那么我们就可以轻松的获取设备的网络状态以及联网方式等信息. 但是要想知道安卓设备连接的网络能不能访问到Internet,就要费一番周折了. 本 ...