安装环境三台centos7 vmw:

cdh- 192.168.0.141    [主节点]
cdh- 192.168.0.142 [从节点]
cdh- 192.168.0.143 [从节点]

1)[各节点]使用本地yum repo进行安装时:

需要在各个节点(192.168.0.141,192.168.0.142,192.168.0.143)上设置本地repo(/etc/yum.repos.d/)

cd /etc/yum.repos.d/
mkdir backup
mv *.repo ./backup
echo '[cloudera-manager]
name = Cloudera Manager, Version 5.13.
baseurl = http://192.168.0.141/cm5/
gpgcheck =
'> cloudera-manager.repo echo '[myrepo]
name=myrepo
baseurl=http://192.168.0.141/cm5/
enabled=
gpgcheck='> myrepo.repo

2)[主节点]需要安装httpd,并在/var/www/html下创建cm5存放cm安装源

从http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.13.0/下载源文件到该(/var/wwww/html/cm5)路径下;

[root@cdh- bin]$ cd /var/www/html/
[root@cdh- html]$ ls
cdh5 cm5
[root@cdh- html]$ cd cm5/
[root@cdh- cm5]$ ls
mirror repodata RPMS

3)[主节点]需要下载cdh5的安装源

(
http://archive.cloudera.com/cdh5/parcels/5.13.0/CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel
http://archive.cloudera.com/cdh5/parcels/5.13.0/CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1
http://archive.cloudera.com/cdh5/parcels/5.13.0/manifest.json
)到/val/www/html/cdh5/下

[root@cdh- ~]$ cd /var/www/html/
[root@cdh- html]$ ls
cdh5 cm5
[root@cdh- html]$ cd cdh5/
[root@cdh- cdh5]$ ls
CDH-5.13.-.cdh5.13.0.p0.-el7.parcel CDH-5.13.-.cdh5.13.0.p0.-el7.parcel.sha manifest.json

输入地址:http://192.168.0.141:7180,进行安装过程中出现错误:

问题解决:安装Cloudera manager agent失败

安装过程中出现警告解决方案参考:http://www.cnblogs.com/fujiangong/p/5620050.html

Error: Package: cloudera-manager-agent-5.15.1-1.cm5151.p0.3.el7.x86_64 (cloudera-manager)
Requires: python-psycopg2
Error: Package: cloudera-manager-agent-5.15.1-1.cm5151.p0.3.el7.x86_64 (cloudera-manager)
Requires: psmisc
Error: Package: cloudera-manager-agent-5.15.1-1.cm5151.p0.3.el7.x86_64 (cloudera-manager)
Requires: MySQL-python
Error: Package: cloudera-manager-agent-5.15.1-1.cm5151.p0.3.el7.x86_64 (cloudera-manager)
Requires: bind-utils
Error: Package: cloudera-manager-agent-5.15.1-1.cm5151.p0.3.el7.x86_64 (cloudera-manager)
Requires: /lib/lsb/init-functions
Error: Package: cloudera-manager-agent-5.15.1-1.cm5151.p0.3.el7.x86_64 (cloudera-manager)
Requires: cyrus-sasl-plain
Error: Package: cloudera-manager-agent-5.15.1-1.cm5151.p0.3.el7.x86_64 (cloudera-manager)
Requires: portmap
Error: Package: cloudera-manager-agent-5.15.1-1.cm5151.p0.3.el7.x86_64 (cloudera-manager)
Requires: cyrus-sasl-gssapi
Error: Package: cloudera-manager-agent-5.15.1-1.cm5151.p0.3.el7.x86_64 (cloudera-manager)
Requires: mod_ssl
Error: Package: cloudera-manager-agent-5.15.1-1.cm5151.p0.3.el7.x86_64 (cloudera-manager)
Requires: openssl-devel

解决方案:

yum clean all
yum mackecache yum -y install httpd python-psycopg2 psmisc MySQL-python bind-utils init-functions cyrus-sasl-plain portmap cyrus-sasl-gssapi mod_ssl openssl-devel #Error: Package: cloudera-manager-agent-5.15.1-1.cm5151.p0.3.el7.x86_64 (cloudera-manager)
#Requires: /lib/lsb/init-functions
yum install lsb

问题解决:不良 : 群集中有 710 个 副本不足的块 块。群集中共有 710 个块。百分比 副本不足的块: 100.00%。 临界阈值:40.00%。

将hdfs复制因子修改为2,默认3,而我这datanode只有两个,因此不够三个复制因子。

然后在master(CDH-141)中通过命令更改备份数:

su  hdfs
hadoop fs -setrep -R / #这里的-R 2的数字2就对应我们的DataNode个数。

修改成功后,重启hdfs,出现:不良 : Canary 测试无法在目录 /tmp/.cloudera_health_monitoring_canary_files 中创建文件。

经过查看日志,发现 Name node is in safe mode. 
解决方法:

sudo -u hdfs hdfs dfsadmin -safemode leave

问题解决:Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x

运行

[root@cdh- bin]# pwd
/opt/cloudera/parcels/SPARK2/bin
[root@cdh- bin]# spark2-shell

出现异常:Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x

解决方案

1.修改hdfs参数  dfs.permissions=false,赋权限给root

2.重启HDFS组件,让其生效。

3.重启成功后,shell重新登录,root执行也ok

不让其进行权限验证,

重新安装时,可以以下命令删除:

如果安装过程中出现失败,需要重新安装时,可以以下命令删除:

/usr/share/cmf/uninstall-cloudera-manager.sh
service cloudera-scm-agent stop
service cloudera-scm-agent stop
umount /var/run/cloudera-scm-agent/process
umount /var/run/cloudera-scm-agent/process
umount /var/run/cloudera-scm-agent/process rm -rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/x86_64//cloudera* /var/log/cloudera* /var/run/cloudera*  /etc/cloudera*  rpm -qa | grep cloudera
for f in `rpm -qa | grep cloudera `  ; do rpm -e ${f} ; done rm -rf /var/lib/hadoop-* /var/lib/impala /var/lib/solr /var/lib/zookeeper /var/lib/hue /var/lib/oozie  /var/lib/pgsql  /var/lib/sqoop2  /data/dfs/  /data/impala/ /data/yarn/  /dfs/ /impala/ /yarn/  /var/run/hadoop-*/ /var/run/hdfs-*/ /usr/bin/hadoop* /usr/bin/zookeeper* /usr/bin/hbase* /usr/bin/hive* /usr/bin/hdfs /usr/bin/mapred /usr/bin/yarn /usr/bin/sqoop* /usr/bin/oozie /etc/hadoop* /etc/zookeeper* /etc/hive* /etc/hue /etc/impala /etc/sqoop* /etc/oozie /etc/hbase* /etc/hcatalog  rm -rf ` find /var/lib/alternatives/* ! -name "mta" ! -name "print" ! -name "zlibrary-ui"  -mtime -3` 
rm -rf /etc/alternatives/* 
for u in hdfs mapred cloudera-scm hbase hue zookeeper oozie hive impala flume; do sudo kill $(ps -u $u -o pid=); done
rm -rf /opt/cloudera/parcel-cache /opt/cloudera/parcels

CDH:cdh5环境搭建的更多相关文章

  1. 【Hadoop离线基础总结】CDH版本的zookeeper环境搭建

    CDH版本的zookeeper环境搭建 下载 下载地址 http://archive.cloudera.com/cdh5/cdh/5/ 修改配置文件 创建ZooKeeper数据存放目录 mkdir - ...

  2. 【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建

    CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步:上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar ...

  3. 《OD大数据实战》Hue环境搭建

    官网: http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/ 一.Hue环境搭建 1. 下载 http://archive.cloude ...

  4. 《OD大数据实战》HBase环境搭建

    一.环境搭建 1. 下载 hbase-0.98.6-cdh5.3.6.tar.gz 2. 解压 tar -zxvf hbase-0.98.6-cdh5.3.6.tar.gz -C /opt/modul ...

  5. 《OD大数据实战》Oozie环境搭建

    一.Oozie环境搭建 1. 下载oozie-4.0.0-cdh5.3.6.tar.gz 下载地址:http://archive.cloudera.com/cdh5/cdh/5/ 2. 解压 tar ...

  6. 《OD大数据实战》Hive环境搭建

    一.搭建hadoop环境 <OD大数据实战>hadoop伪分布式环境搭建 二.Hive环境搭建 1. 准备安装文件 下载地址: http://archive.cloudera.com/cd ...

  7. 《OD大数据实战》Hadoop伪分布式环境搭建

    一.安装并配置Linux 8. 使用当前root用户创建文件夹,并给/opt/下的所有文件夹及文件赋予775权限,修改用户组为当前用户 mkdir -p /opt/modules mkdir -p / ...

  8. CDH集群搭建部署

    1. 硬件准备     使用了五台机器,其中两台8c16g,三台4c8g.一台4c8g用于搭建cmServer和NFS服务端,另外4台作为cloudera-manager agent部署CDH集群. ...

  9. Spark环境搭建(四)-----------数据仓库Hive环境搭建

    Hive产生背景 1)MapReduce的编程不便,需通过Java语言等编写程序 2) HDFS上的文缺失Schema(在数据库中的表名列名等),方便开发者通过SQL的方式处理结构化的数据,而不需要J ...

随机推荐

  1. hdu2888 二维ST表(RMQ)

    二维RMQ其实和一维差不太多,但是dp时要用四维 /* 二维rmq */ #include<iostream> #include<cstring> #include<cs ...

  2. 性能测试三十四:jvm内存结构(栈、堆、永久代)

    Java内存管理机制 Java采用了自动管理内存的方式Java程序是运行在Jvm之中的Java的跨平台的基于Jvm的跨平台特性内存的分配和对象的创建是在Jvm中用户可以通过一系列参数来配置Jvm Jv ...

  3. 有关列分组,定义css样式无效的问题

    声明: web前端学习笔记,欢迎大神指点.联系QQ:1522025433. 有时候我们要单独对表格的某列定义单独的样式,就会很自然的想到 表格的 在<table>标签内使用的 <co ...

  4. bootstrap 强调相关的类

    .text-muted:提示,使用浅灰色(#999) .text-primary:主要,使用蓝色(#428bca) .text-success:成功,使用浅绿色(#3c763d) .text-info ...

  5. PostgreSQL的SQL语句中的双引号引发的问题

    最近开发一个WEB的ETL工具需要用到不同的数据源.第一次用POSTGRESQL发现一个双引号引发的问题: 标准的SQL是不区分大小写的.但是PostgreSQL对于数据库中对象的名字允许使用支持大小 ...

  6. HTML&CSS学习笔记

    <table> <thead> <tr>            // table row <th></th> // table head & ...

  7. BZOJ3198 [Sdoi2013]spring 哈希 容斥原理

    欢迎访问~原文出处——博客园-zhouzhendong 去博客园看该题解 题目传送门 - BZOJ3198 题意概括 有n(1<=n<=100000)组数据,每组数据6个数. 现在问有几对 ...

  8. BZOJ1207 [HNOI2004]打鼹鼠 动态规划

    欢迎访问~原文出处——博客园-zhouzhendong 去博客园看该题解 题目传送门 - BZOJ1207 题目概括 n*n的方阵上,一开始你可以在任何地方. 你每秒可以移动一格,接下来有m只地鼠冒出 ...

  9. Linux学习之常用文件处理命令(一)

    (一)文件命名规则 (二)常用文件处理命令 1.ls命令 2.cd命令 3.pwd命令 4.mkdir命令 5.touch命令 6.cp命令 7.mv命令 8.rm命令 9.cat命令 10.more ...

  10. 无状态shiro认证组件(禁用默认session)

    准备内容 简单的shiro无状态认证 无状态认证拦截器 import com.hjzgg.stateless.shiroSimpleWeb.Constants; import com.hjzgg.st ...