安装hadoop集群-cm 5.14.4
环境 要求:
centos 7
java 1.8
cm 5.14.4
mysql 5.7
4核16G
工具要求:
mysql-connector-java-5.1.39.jar
1、绑定 hosts
10.31.210.15 test-algo-hadoop-01
10.31.210.16 test-algo-hadoop-02
10.31.210.17 test-algo-hadoop-03
2、受信ssh key
test-algo-hadoop-01 自动登录 其它 机器
test-algo-hadoop-02 自动 登录 其它 的机器
test-algo-hadoop-01 和test-algo-hadoop-02互登录
3、修改内核并增加到rc.local文件
# 内存参数调整 #sysctl -w vm.swappiness=10 或者 编辑vim /etc/sysctl.conf,
在最后加入: #vm.swappiness = 10
编辑启动项vim /etc/rc.local,最后加入:
#echo never > /sys/kernel/mm/transparent_hugepage/defrag
#echo never > /sys/kernel/mm/transparent_hugepage/enabled
关闭防火墙
#systemctl disable firewalld
#systemctl stop firewalld
设置时间同步
ntpd
4、下载软件包和工具
mysql-connector-java-5.1.39.jar
CDH-5.14.4-1.cdh5.14.4.p0.3-el7.parcel
CDH-5.14.4-1.cdh5.14.4.p0.3-el7.parcel.sha
cloudera-manager-centos7-cm5.14.4_x86_64.tar.gz
manifest.json
解压 :
#cp /data/soft/cloudera-manager-centos7-cm5.14.4_x86_64.tar.gz /opt/ && cd /opt
#tar zcvf cloudera-manager-centos7-cm5.14.4_x86_64.tar.gz
#cp /data/soft/CDH-5.14.4-1.cdh5.14.4.p0.3-el7.parcel* /opt/cloudera/parcel-repo/
5、安装jdk 1.8 && mysql (略)
6、配置mysql帐号
grant all on *.* to 'hadoop'@'10.31.%' identified by 'xxxx' with grant option;
flush privileges;
创建数据库
create database amon DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
create database rman DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
create database metastore DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
create database sentry DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
create database nav DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
create database navms DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
安装java(所有机器) && mysql jar库
#cp /data/soft/mysql-connector-java-5.1.39.jar /opt/cm-5.14.4/share/cmf/cloudera-navigator-server/jars/
pw
#cp /data/soft/mysql-connector-java-5.1.39.jar /opt/cm-5.14.4/share/cmf/lib
#mkdir -p /usr/share/java && cp /data/soft/mysql-connector-java-5.1.39.jar /usr/share/java/mysql-connector-java.jar
#初始化mysql
/opt/cm-5.14.4/share/cmf/schema/scm_prepare_database.sh mysql cm -htest-algo-hadoop-01 -uhadoop -p --scm-host "10.31.%" scm
yum安装:
yum install libxslt-devel libxslt-python httpd mod_ssl cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain chkconfig bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb httpd httpd-tools unzip ntp
cm agent 配置
#vim /opt/cm-5.14.4/etc/cloudera-scm-agent/config.ini
server_host=test-algo-hadoop-01
#scp到其它的服务器
#scp -P 57301 -r /opt/cm-5.14.4 test-algo-hadoop-02:/opt/
#scp -P 57301 -r /opt/cm-5.14.4 test-algo-hadoop-03:/opt/
在所有节点创建cloudera-scm用户
#useradd --system --home=/opt/cm-5.14.4/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
启动cm server 和agent:
/opt/cm-5.14.4/etc/init.d/cloudera-scm-server restart
/opt/cm-5.14.4/etc/init.d/cloudera-scm-agent restart
访问 :http://服务器IP:7180
安装cloudera 时报错
Error, CM server guid updated, expected 25cf17b3-391a-4368-848a-07118d6f11fb, received b3d4a47a-1476-4ea4-b236-24426b1b8540
rm /opt/cm-5.14.4/lib/cloudera-scm-agent/cm_guid -f
/opt/cm-5.14.4/etc/init.d/cloudera-scm-agent restart
重新生成guid
安装hadoop集群-cm 5.14.4的更多相关文章
- docker安装hadoop集群
docker安装hadoop集群?图啥呢?不图啥,就是图好玩.本篇博客主要是来教大家如何搭建一个docker的hadoop集群.不要问 为什么我要做这么无聊的事情,答案你也许知道,因为没有女票.... ...
- 安装Hadoop集群的最快的软件
Quick Hadoop是一款安装Hadoop集群的桌面软件,只需要点两下鼠标,一分钟之内安装Hadoop到集群上,超快! 还在每台主机的Shell里一行一行地敲安装Hadoop的命令?别苦逼了! 用 ...
- CentOS7 搭建Ambari-Server,安装Hadoop集群(一)
2017-07-05:修正几处拼写错误,之前没发现,抱歉! 第一次在cnblogs上发表文章,效果肯定不会好,希望各位多包涵. 编写这个文档的背景是月中的时候,部门老大希望我们能够抽时间学习一下Had ...
- 通过ambari安装hadoop集群,ZT
通过ambari安装hadoop集群,ZT http://www.cnblogs.com/cenyuhai/p/3295635.html http://www.cnblogs.com/cenyuhai ...
- Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)--------hadoop环境的搭建
Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)------https://blog.csdn.net/pucao_cug/article/details/71698903 ...
- 安装hadoop集群--hdfs
安装hadoop集群--hdfs 大数据软件 链接:https://pan.baidu.com/s/1-3PYLHMgvvONawJq55hstQ 提取码:izqf 准备一台干净的虚拟机-centos ...
- 安装hadoop集群服务器(hadoop1.2.1)
摘要:hadoop,一个分布式系统基础架构,可以充分利用集群的威力进行高速运算和存储.本文主要介绍hadoop的安装与集群服务器的配置. 准备文件: ▪ VMware11.0.0 ▪ Cen ...
- 在虚拟机上配置安装hadoop集群
原本以为有大神已经总结的很清楚了,就不自己在写了, 但是在自己安装的过程中还是出现了一些问题, 所以打算以自己的方式重新总结一下. 参考https://blog.csdn.net/hliq539 ...
- Docker 安装Hadoop集群
资源准备:jdk1.8及hadoop2.7.3 链接:https://pan.baidu.com/s/1x8t1t2iY46jKkvNUBHZlGQ 提取码:g1gm 复制这段内容后打开百度网盘手机A ...
随机推荐
- 理解 Virtual DOM(摘)及评价
框架并没有提高web的性能,只是让开发者更加专注的完成业务逻辑,而不用过渡的考虑性能上的优化.如果以性能来比的话,框架是绝对比不过优化后的原生代码的. 二.什么是Virtual DOM Virtual ...
- python每日经典算法题5(基础题)+1(较难题)
一:基础算法题5道 1.阿姆斯特朗数 如果一个n位正整数等于其各位数字的n次方之和,则称该数为阿姆斯特朗数.判断用户输入的数字是否为阿姆斯特朗数. (1)题目分析:这里要先得到该数是多少位的,然后再把 ...
- 02、JDBC查询
① 向数据库发送SQL查询语句 首先使用Statement声明一个SQL语句对象,然后让已创建的连接对象con调用方法createStatement()创建SQL语句对象. Statement sql ...
- 2019-08-26 linux
1.question:什么是linux? answer:Linux由林纳斯·托瓦兹开发的一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和Unix的多用户.多任务.支持多线程和多CPU ...
- Risc-V简要概括
1.Risc-V硬件平台术语 一个RiscV硬件平台可以包含一个或多个RiscV兼容的核心.其它非RiscV兼容的核心.固定功能的加速器.各种物理存储器结构.I/O设备以及允许这些部件相互连通的互联结 ...
- MyDAL - .OpenDebug() 与 Visual Studio 输出窗口 使用
索引: 目录索引 SQL Debug 信息说明 一. 对 XConnection 对象 未开启 OpenDebug, 在 VS 状态下,将默认在 VS 窗口 打印出 参数化的 SQL 执行语句: 新 ...
- 在知识爆炸的年代如何学习,避免成为PPT架构师
计算机的发展大体遵循摩尔定律,IT要学的东西越来越多,感觉无从下手 然后发现许多人,专门喜欢说这些名词概念装高大上,脱离一线开发,技术跟风盲目崇拜新的骚东西,比如docker,k8s,微服务,open ...
- Mysql-5.5版本搭建实例的部分库的从库
由于业务需要在Mysql实例中创建部分库的从库,已有的Mysql实例的版本是mysql-5.5.49,是一个非常老的版本. 本文档涉及到服务器中运行多实例和构建实例中部分库的从库. 服务器 mysql ...
- MySQL修炼之路四
1. 外键(foreign key) 1. 定义:让当前表字段的值在另一个表的范围内选择 2. 语法 foreign key(参考字段名) references 主表(被参考字段名) on delet ...
- MySQL修炼之路二
1. 表字段的操作 1. 语法: alter table 表名 执行动作: 2. 添加字段(add) alter table 表名 add 字段名 数据类型: alter table 表名 add 字 ...