问题导读:
1.Cloudera Manager在线安装你认为有什么优点和缺点?
2.Cloudera Manager安装过程中遇到,你认为该如何解决?
3.在线安装addr.arpa domain name pointer localhost出现这个问题该如何解决?


安装过程中,由于网络终端,导致下面问题:
问题1:安装停止在获取安装锁
/tmp/scm_prepare_node.tYlmPfrT 
using SSH_CLIENT to get the SCM hostname: 172.16.77.20 33950 22 
opening logging file descriptor 

正在启动安装脚本...正在获取安装锁...BEGIN flock 4 


此时删除 /tmp/.scm_prepare_node.lock 再重试就可解决



问题2:不能选择主机

安装失败了,重新不能选主机



图1
解决方案,需要清理安装失败文件
卸载 Cloudera Manager 5.1.x.和 相关软件【官网翻译:高可用】



问题3:DNS反向解析PTR localhost:

描述:

DNS反向解析错误,不能正确解析Cloudera Manager Server主机名
日志:

Detecting Cloudera Manager Server...
Detecting Cloudera Manager Server...
BEGIN host -t PTR 192.168.1.198
198.1.168.192.in-addr.arpa domain name pointer localhost.
END (0)
using localhost as scm server hostname
BEGIN which python
/usr/bin/python
END (0)
BEGIN python -c 'import socket; import sys; s = socket.socket(socket.AF_INET); s.settimeout(5.0); s.connect((sys.argv[1], int(sys.argv[2]))); s.close();' localhost 7182
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "<string>", line 1, in connect
socket.error: [Errno 111] Connection refused
END (1)
could not contact scm server at localhost:7182, giving up
waiting for rollback request

解决方案:
将连不上的机器 /usr/bin/host 文件删掉,执行下面命令:
  1. sudo mv /usr/bin/host /usr/bin/host.bak

复制代码

说明:
不明白cloudera的初衷,这里已经得到 Cloudera Manager Server的ip了,却还要把ip解析成主机名来连接
由于DNS反向解析没有配置好,根据Cloudera Manager Server 的ip解析主机名却得到了localhost,造成之后的连接错误
这里的解决方案是直接把/usr/bin/host删掉,这样Cloudera Manager就会直接使用 ip进行连接,就没有错了
参考:



问题 4 NTP:

问题描述:

Bad Health --Clock Offset

The host's NTP service did not respond to a request for the clock offset.

解决:

配置NTP服务

步骤参考:

CentOS配置NTP Server:

http://www.hailiangchen.com/centos-ntp/

国内常用NTP服务器地址及IP

http://www.douban.com/note/171309770/

修改配置文件:
[root@work03 ~]# vim /etc/ntp.conf

# Use public servers from the pool.ntp.org project.

# Please consider joining the pool (http://www.pool.ntp.org/join.html).

server s1a.time.edu.cn prefer

server s1b.time.edu.cn

server s1c.time.edu.cn

restrict 172.16.1.0 mask 255.255.255.0 nomodify   <===放行局域网来源

启动ntp
#service ntpd restart    <===启动ntp服务
客户端同步时间(work02,work03):
ntpdate work01
说明:NTP服务启动需要大约五分钟时间,服务启动之前,若客户端同步时间,则会出现错误“no server suitable for synchronization found”
定时同步时间:
在work02和 work03上配置crontab定时同步时间

crontab -e
00 12 * * * root /usr/sbin/ntpdate 192.168.56.121 >> /root/ntpdate.log 2>&1 
问题 2.2
描述:
     Clock Offset

  • Ensure that the host's hostname is configured properly.
  • Ensure that port 7182 is accessible on the Cloudera Manager Server (check firewall rules).
  • Ensure that ports 9000 and 9001 are free on the host being added.
  • Check agent logs in /var/log/cloudera-scm-agent/ on the host being added (some of the logs can be found in the installation details).

问题定位:

在对应host(work02、work03)上运行 'ntpdc -c loopinfo'
[root@work03 work]# ntpdc -c loopinfo
ntpdc: read: Connection refused

解决:

开启ntp服务:
三台机器都开机启动 ntp服务
chkconfig ntpd on





问题 5 heartbeat:

错误信息:

Installation failed. Failed to receive heartbeat from agent.
解决:关闭防火墙


centos7.0(默认是使用firewall作为防火墙,如若未改为iptables防火墙,使用以下命令查看和关闭防火墙)

查看防火墙状态:firewall-cmd --state

关闭防火墙:systemctl stop firewalld.service






问题 6 Unknow Health:

Unknow Health
重启后:Request to theHost Monitor failed.
service --status-all| grep clo
机器上查看scm-agent状态:cloudera-scm-agent dead but pid file exists
解决:重启服务
service cloudera-scm-agent restart
service cloudera-scm-server restart





问题 7 canonial name hostname consistent:

Bad Health
The hostname and canonical name for this host are not consistent when checked from a Java process.
canonical name:
4092 Monitor-HostMonitor throttling_logger WARNING  (29 skipped) hostname work02 differs from the canonical name work02.xinzhitang.com
解决:修改hosts 使FQDN和 hostname相同
ps:虽然解决了但是不明白为什么主机名和主机别名要一样
/etc/hosts
192.168.1.185 work01 work01
192.168.1.141 work02 work02
192.168.1.198 work03 work03





问题 8 Concerning Health:

Concerning Health Issue
--  Network Interface Speed --
描述:The host has 2 network interface(s) that appear to be operating at less than full speed. Warning threshold: any.
详细:

This is a host health test that checks for network interfaces that appear to be operating at less than full speed.
A failure of this health test may indicate that network interface(s) may be configured incorrectly and may be causing performance problems. Use the ethtool command to check and configure the host's network interfaces to use the fastest available link speed and duplex mode.

解决:

本次测试修改了 Cloudera Manager 的配置,应该不算是真正的解决

问题 9:

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装,但可能会遇到问题,Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响:

解决办法:执行下面即可

  1. echo 0 > /proc/sys/vm/swappiness

    1.查看你的系统里面的swappiness
    $ cat /proc/sys/vm/swappiness
    不出意外的话,你应该看到是 60
    2.修改swappiness值为10
    $ sudo sysctl vm.swappiness=10
    但是这只是临时性的修改,在你重启系统后会恢复默认的60,所以,还要做一步:
    $ gksudo gedit /etc/sysctl.conf
    在这个文档的最后加上这样一行:
    vm.swappiness=10


问题10:


对于虚拟机安装时直接拷贝虚拟机文件的,需要将复制后的虚拟机里的一下文件删除,不然会出现 识别错误等

删掉/var/lib/cloudera-scm-agent里面的
response.avro  uuid

    1. rm /var/lib/cloudera-scm-agent/*

问题11:


Failed to create Oozie database.

可以试试:
  1. rm -rf /var/lib/oozie/*
或者:
  1.  drop database oozie on postgresql

内嵌  PostgreSQL 数据库的密码位置 : 
    scm数据库的用户名,密码 
    more /etc/cloudera-scm-server/db.properties 
    其他数据库(如amon,hmon,smon,rman,nav)的用户名、密码 
    more /etc/cloudera-scm-server/db.mgmt.properties 
    数据库管理者(相当于oracle DBA)cloudera-scm的用户名、密码 
    /var/lib/cloudera-scm-server-db/data/generated_password.txt 
    hive数据库的用户名、密码 
    You can find the databaes admin(cloudera-scm) password in /var/lib/cloudera-scm-server-db/data/generated_password.txt. 


针对数据库的管理

1:连接数据库

psql --host=localhost --port=7432 --username=scm --dbname=postgres -v ON_ERROR_STOP=1 
    psql --host=localhost --port=7432 --username=hmon --dbname=hmon -v ON_ERROR_STOP=1 
    psql --host=localhost --port=7432 --username=hive --dbname=hive -v ON_ERROR_STOP=1 
    psql --host=localhost --port=7432 --username=cloudera-scm -W=Cl5y3a3i6C --dbname=postgres -v ON_ERROR_STOP=1

输入用户口令后即可进入数据库 
        显示数据库列表 \l  
        切换数据库\c test 
        退出 \q 
        列表表、视图、序列 \d

2:数据查询

注意在查看hive数据库中表中的数据时,可以由于hive数据库在建表时,表的定义使用了大小写混合拼写的方式,在PostgreSQL中使用双引号来界定标识符使您的具体大小写混合的拼写。否则会报下图中的错误:

ERROR:  relation "dbs" does not exist

3、数据导出

pg_dump -h localhost -p 7432 -U scm > /tmp/scm_server_db_backup.$(date +%Y%m%d)



或者放弃postgresql,使用mysql,作为数据库

 CentOS7的yum源中默认好像是没有mysql的。为了解决这个问题,我们要先下载mysql的repo源。

1. 下载mysql的repo源

$ wget http://repo.mysql.com/mysql-community-release-el7-7.noarch.rpm

2. 安装mysql-community-release-el7-5.noarch.rpm包

$ sudo rpm -ivh mysql-community-release-el7-7.noarch.rpm

安装这个包后,会获得两个mysql的yum repo源:/etc/yum.repos.d/mysql-community.repo,/etc/yum.repos.d/mysql-community-source.repo。

3. 安装mysql

$ sudo yum install mysql-server

根据步骤安装就可以了,不过安装完成后,没有密码,需要重置密码。

来源: http://www.mamicode.com/info-detail-503994.html


4、 install the MySQL connector on a RHEL  system:


sudo yum install mysql-connector-java
5、To set the MySQL root password:

  1. service mysqld start
  1. sudo /usr/bin/mysql_secure_installation

6、To make sure the MySQL server starts at boot:

  • On RHEL systems:
$ sudo /sbin/chkconfig mysqld on
$ sudo /sbin/chkconfig --list mysqld
mysqld 0:off 1:off 2:on 3:on 4:on 5:on 6:off
7、create database and user 

  1. mysql -u root -p
  2. mysql> CREATE USER 'hive'@'metastorehost' IDENTIFIED BY 'mypassword';
  3. ...
  4. mysql> REVOKE ALL PRIVILEGES, GRANT OPTION FROM 'hive'@'metastorehost';
  5. mysql> GRANT ALL PRIVILEGES ON metastore.* TO 'hive'@'metastorehost';
  6. mysql> FLUSH PRIVILEGES;
  7. mysql> quit;




hello world:

  1. sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100




The "Getting Started with Hadoop" Tutorial










>Install htop on CentOS 7


Install Epel Release

First, enable the epel release on CentOS 7.

yum -y install epel-release

install htop With Yum Command

Now we can install CentOS htop using yum install command.

yum -y install htop



Cloudera Manager5安装总结遇到问题及解决办法 CDH 5.8 on CentOS 7的更多相关文章

  1. Cloudera Manager5安装总结遇到问题及解决办法

    安装过程中,由于网络终端,导致下面问题: 问题1:安装停止在获取安装锁/tmp/scm_prepare_node.tYlmPfrT using SSH_CLIENT to get the SCM ho ...

  2. 360或者金山毒霸可能会导致HP网络打印机驱动安装失败“数据无效”的解决办法

    360或者金山毒霸可能会导致HP网络打印机驱动安装失败“数据无效”的解决办法     同事办公室的打印机是网线接口的那种网络打印机,不是直接连到电脑的那种,他电脑安装了360和金山毒霸,WIN10下安 ...

  3. 树莓派(Raspberry Pi 3)安装centos7后yum无法使用解决办法

    树莓派(Raspberry Pi 3)安装centos7后yum无法使用解决办法 人穷,闲鱼淘了个二手的树莓派3 英国版,无奈咱也不会用,很无奈~ 安装教程百度到的差不多都可以,找个格式正常的一步一步 ...

  4. WIN10安装VC6.0无法使用的解决办法

    WIN10安装VC6.0无法使用的解决办法 VC6.0确实已经太老了 VC6.0实在是很久以前的开发工具了,现在的win10已经对该软件不兼容,但是为了能使抱着怀旧情节的初学者们能像教科书或老前辈们一 ...

  5. Python安装时报缺少DLL的解决办法

    准备开始学习Python,但是刚准备环境搭建时就遇到了下面的错误: 仔细的看了看,说是缺少DLL. 对于这个问题的解决办法: 方法一: 1. 在安装包上点右键以管理员身份运行2. C:\Users\用 ...

  6. Wdcp在安装memcached出现错误的解决办法

    今天在安装memcached时出现了以下错误(tar: libevent-1.4.14b-stable.tar.gz: Cannot open: No such file or directory), ...

  7. Nodejs npm安装socket.io报错解决办法

    安装socket.io时,报错,提示需要安装Microsoft visual studio 2005 或 Net framework 2.0 sdk,没有找到vcbuild.exe,解决办法是安装 . ...

  8. php5.4下安装ECshop出现错误的解决办法

    转:http://www.programmernote.com/?p=65 1.安装是会提示 Warning: date_default_timezone_get(): It is not safe ...

  9. opnet安装及安装中出现问题的解决办法 分类: opnet 2014-04-06 21:50 397人阅读 评论(0) 收藏

    我使用的opnet14.5  win7 64位系统的http://pan.baidu.com/s/1qWyfxnu,电脑先刷了win7 64位原版系统. 选择了VS2013+opnet14.5的安装方 ...

随机推荐

  1. Linux终端没有GUI,使用matplotlib绘图

    一.解决警告信息 ... _tkinter.TclError: no display name and no $DISPLAY environment variable 两种解决方法: 1.pytho ...

  2. 9. Javascript学习笔记——表单处理

    9. 表单处理 9.1 表单的基础知识 ///表单用 <form> 元素表示,对应的是 HTMLFormElement 类型,继承自 HTMLElement. //属性:action.me ...

  3. JavaScript定时器与执行机制

    JavaScript动画中是必须使用到定时器的,这里做一个总结. var label = 'someLable'; console.time(label); console.timeEnd(label ...

  4. JS框架设计之对象类型判断一种子模块

    Javascript有两套数据类型,一套是基础数据类型,一套是对象数据类型.基础数据类型包括5种基本数据类型,分别是null,bool,undefined,number,string,也叫简单数据类型 ...

  5. sessionKey/tokenKey

    移动端维持登录状态的机制 1. sessionKey/tokenKey哪里来? 1. 登录成功之后,后台返回. 2. sessionKey/tokenKey生成有什么规则? 1. 后台返回的,按照一定 ...

  6. JavaScript设计模式-15.适配器模式

    <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title> ...

  7. jquery validate(转)

    转自:http://blog.sina.com.cn/s/blog_608475eb0100h3h1.html 官网地址:http://bassistance.de/jquery-plugins/jq ...

  8. 使用Vue搭建多页面应用

    使用Vue-cli搭建多页面应用时对项目结构和配置的调整   前提:在这里使用的是webpack模板进行搭建 第一步.安装Vue-cli并且进行初始化 首先打开git,在里面使用npm全局安装Vue- ...

  9. Java泛型的逆变

    在上篇<Java泛型的协变>这篇文章中遗留以下问题——协变不能解决将子类型添加到父类型的泛型列表中.本篇将用逆变来解决这个问题. 实验准备 我们首先增加以下方法,见代码清单1所示. 代码清 ...

  10. replace替换,全局和局部替换

    <script> var a=document.getElementById("introduce").innerHTML; var b=a.replace(/jone ...