环境 要求:

centos 7

java 1.8

cm 5.14.4

mysql 5.7

4核16G

工具要求:

mysql-connector-java-5.1.39.jar

1、绑定 hosts

10.31.210.15 test-algo-hadoop-01

10.31.210.16 test-algo-hadoop-02

10.31.210.17 test-algo-hadoop-03

2、受信ssh key

test-algo-hadoop-01 自动登录 其它 机器 
test-algo-hadoop-02 自动 登录 其它 的机器 
test-algo-hadoop-01 和test-algo-hadoop-02互登录

3、修改内核并增加到rc.local文件

# 内存参数调整 #sysctl -w vm.swappiness=10 或者 编辑vim /etc/sysctl.conf,

在最后加入: #vm.swappiness = 10

编辑启动项vim /etc/rc.local,最后加入:

#echo never > /sys/kernel/mm/transparent_hugepage/defrag

#echo never > /sys/kernel/mm/transparent_hugepage/enabled

关闭防火墙

#systemctl disable firewalld
#systemctl stop firewalld

设置时间同步

ntpd

4、下载软件包和工具

mysql-connector-java-5.1.39.jar

CDH-5.14.4-1.cdh5.14.4.p0.3-el7.parcel

CDH-5.14.4-1.cdh5.14.4.p0.3-el7.parcel.sha

cloudera-manager-centos7-cm5.14.4_x86_64.tar.gz

manifest.json

解压 :

#cp /data/soft/cloudera-manager-centos7-cm5.14.4_x86_64.tar.gz /opt/ && cd /opt

#tar zcvf cloudera-manager-centos7-cm5.14.4_x86_64.tar.gz

#cp /data/soft/CDH-5.14.4-1.cdh5.14.4.p0.3-el7.parcel* /opt/cloudera/parcel-repo/

5、安装jdk 1.8 && mysql  (略)

6、配置mysql帐号

grant all on *.* to 'hadoop'@'10.31.%' identified by 'xxxx' with grant option;

flush privileges;

创建数据库

create database amon DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
create database rman DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
create database metastore DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
create database sentry DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
create database nav DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
create database navms DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

安装java(所有机器) &&  mysql jar库

#cp /data/soft/mysql-connector-java-5.1.39.jar /opt/cm-5.14.4/share/cmf/cloudera-navigator-server/jars/
pw
#cp /data/soft/mysql-connector-java-5.1.39.jar /opt/cm-5.14.4/share/cmf/lib

#mkdir -p /usr/share/java && cp /data/soft/mysql-connector-java-5.1.39.jar /usr/share/java/mysql-connector-java.jar

#初始化mysql

/opt/cm-5.14.4/share/cmf/schema/scm_prepare_database.sh mysql cm -htest-algo-hadoop-01 -uhadoop -p --scm-host "10.31.%" scm

yum安装:

yum install libxslt-devel libxslt-python httpd mod_ssl cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain chkconfig bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb httpd httpd-tools unzip ntp

cm agent 配置

#vim /opt/cm-5.14.4/etc/cloudera-scm-agent/config.ini

server_host=test-algo-hadoop-01

#scp到其它的服务器

#scp -P 57301 -r /opt/cm-5.14.4 test-algo-hadoop-02:/opt/

#scp -P 57301 -r /opt/cm-5.14.4 test-algo-hadoop-03:/opt/

在所有节点创建cloudera-scm用户

#useradd --system --home=/opt/cm-5.14.4/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

启动cm server 和agent:

/opt/cm-5.14.4/etc/init.d/cloudera-scm-server restart

/opt/cm-5.14.4/etc/init.d/cloudera-scm-agent restart

访问 :http://服务器IP:7180

安装cloudera 时报错

Error, CM server guid updated, expected 25cf17b3-391a-4368-848a-07118d6f11fb, received b3d4a47a-1476-4ea4-b236-24426b1b8540

rm /opt/cm-5.14.4/lib/cloudera-scm-agent/cm_guid  -f

/opt/cm-5.14.4/etc/init.d/cloudera-scm-agent restart

重新生成guid

安装hadoop集群-cm 5.14.4的更多相关文章

  1. docker安装hadoop集群

    docker安装hadoop集群?图啥呢?不图啥,就是图好玩.本篇博客主要是来教大家如何搭建一个docker的hadoop集群.不要问 为什么我要做这么无聊的事情,答案你也许知道,因为没有女票.... ...

  2. 安装Hadoop集群的最快的软件

    Quick Hadoop是一款安装Hadoop集群的桌面软件,只需要点两下鼠标,一分钟之内安装Hadoop到集群上,超快! 还在每台主机的Shell里一行一行地敲安装Hadoop的命令?别苦逼了! 用 ...

  3. CentOS7 搭建Ambari-Server,安装Hadoop集群(一)

    2017-07-05:修正几处拼写错误,之前没发现,抱歉! 第一次在cnblogs上发表文章,效果肯定不会好,希望各位多包涵. 编写这个文档的背景是月中的时候,部门老大希望我们能够抽时间学习一下Had ...

  4. 通过ambari安装hadoop集群,ZT

    通过ambari安装hadoop集群,ZT http://www.cnblogs.com/cenyuhai/p/3295635.html http://www.cnblogs.com/cenyuhai ...

  5. Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)--------hadoop环境的搭建

    Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)------https://blog.csdn.net/pucao_cug/article/details/71698903 ...

  6. 安装hadoop集群--hdfs

    安装hadoop集群--hdfs 大数据软件 链接:https://pan.baidu.com/s/1-3PYLHMgvvONawJq55hstQ 提取码:izqf 准备一台干净的虚拟机-centos ...

  7. 安装hadoop集群服务器(hadoop1.2.1)

    摘要:hadoop,一个分布式系统基础架构,可以充分利用集群的威力进行高速运算和存储.本文主要介绍hadoop的安装与集群服务器的配置. 准备文件: ▪ VMware11.0.0      ▪ Cen ...

  8. 在虚拟机上配置安装hadoop集群

    原本以为有大神已经总结的很清楚了,就不自己在写了, 但是在自己安装的过程中还是出现了一些问题, 所以打算以自己的方式重新总结一下.    参考https://blog.csdn.net/hliq539 ...

  9. Docker 安装Hadoop集群

    资源准备:jdk1.8及hadoop2.7.3 链接:https://pan.baidu.com/s/1x8t1t2iY46jKkvNUBHZlGQ 提取码:g1gm 复制这段内容后打开百度网盘手机A ...

随机推荐

  1. 理解 Virtual DOM(摘)及评价

    框架并没有提高web的性能,只是让开发者更加专注的完成业务逻辑,而不用过渡的考虑性能上的优化.如果以性能来比的话,框架是绝对比不过优化后的原生代码的. 二.什么是Virtual DOM Virtual ...

  2. python每日经典算法题5(基础题)+1(较难题)

    一:基础算法题5道 1.阿姆斯特朗数 如果一个n位正整数等于其各位数字的n次方之和,则称该数为阿姆斯特朗数.判断用户输入的数字是否为阿姆斯特朗数. (1)题目分析:这里要先得到该数是多少位的,然后再把 ...

  3. 02、JDBC查询

    ① 向数据库发送SQL查询语句 首先使用Statement声明一个SQL语句对象,然后让已创建的连接对象con调用方法createStatement()创建SQL语句对象. Statement sql ...

  4. 2019-08-26 linux

    1.question:什么是linux? answer:Linux由林纳斯·托瓦兹开发的一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和Unix的多用户.多任务.支持多线程和多CPU ...

  5. Risc-V简要概括

    1.Risc-V硬件平台术语 一个RiscV硬件平台可以包含一个或多个RiscV兼容的核心.其它非RiscV兼容的核心.固定功能的加速器.各种物理存储器结构.I/O设备以及允许这些部件相互连通的互联结 ...

  6. MyDAL - .OpenDebug() 与 Visual Studio 输出窗口 使用

    索引: 目录索引 SQL Debug 信息说明 一. 对 XConnection 对象 未开启 OpenDebug, 在 VS  状态下,将默认在 VS 窗口 打印出 参数化的 SQL 执行语句: 新 ...

  7. 在知识爆炸的年代如何学习,避免成为PPT架构师

    计算机的发展大体遵循摩尔定律,IT要学的东西越来越多,感觉无从下手 然后发现许多人,专门喜欢说这些名词概念装高大上,脱离一线开发,技术跟风盲目崇拜新的骚东西,比如docker,k8s,微服务,open ...

  8. Mysql-5.5版本搭建实例的部分库的从库

    由于业务需要在Mysql实例中创建部分库的从库,已有的Mysql实例的版本是mysql-5.5.49,是一个非常老的版本. 本文档涉及到服务器中运行多实例和构建实例中部分库的从库. 服务器 mysql ...

  9. MySQL修炼之路四

    1. 外键(foreign key) 1. 定义:让当前表字段的值在另一个表的范围内选择 2. 语法 foreign key(参考字段名) references 主表(被参考字段名) on delet ...

  10. MySQL修炼之路二

    1. 表字段的操作 1. 语法: alter table 表名 执行动作: 2. 添加字段(add) alter table 表名 add 字段名 数据类型: alter table 表名 add 字 ...