cdh平台问题
问题背景:内容的不懂之处,可以私信博主。友好交流使用。主要针对的问题种类有:网络桥接报错、网卡文件问题(该问题主要看你的安装脚本文件里面写的是否和主机对应,也是运行环境的问题)、scm表中没有节点信息。
问题一:
描述:Restarting network (via systemctl): Job for network.service failed because the control process exited with error code. See "systemctl status network.service" and "journalctl -xe" for details.
[FAILED]
./step1_install.sh: line 28: ifconfig: command not found
./step1_install.sh: line 29: brctl: command not found
解决方法:缺少网络和桥接工具,yum在线安装:yum -y install net-tools bridge-utils
问题二:
描述:1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether fa:eb:19:ae:d5:00 brd ff:ff:ff:ff:ff:ff
inet 192.168.50.108/24 brd 192.168.50.255 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::f8eb:19ff:feae:d500/64 scope link
valid_lft forever preferred_lft forever
解决方法:因为网卡名和脚本文件设置有冲突,进入网卡所在的文件夹,修改网卡的文件名。(主要看自己的网卡文件在哪)
cd /etc/sysconfig/network-scripts
mv ifcfg-eth0 ifcfg-ens33
问题三:
描述:
使用以下命令进入数据库查看scm表:
mysql -uroot -p
输入数据库密码
use scm;
select * from HOSTS;
如果里面出现节点信息表示server启动完成。
如果里面没有节点信息,尝试以下方法解决。
解决方法:
进入cdh文件夹:
cd /tmp/cdh
修改step2_clustercfg.sh
vi step2_clustercfg.sh
按i进入
在该文件的这行后面加echo "$MynodeName" >/etc/hostname
保存并退出:
Esc
[shift]:
wq
问题四:
问题:有节点停留在激活界面一直不动
解决方法:在主节点里修改/opt/cm-5.7.6/etc/cloudera-scm-agent/config.ini里的service_host为主机地址,再按照以下方法解决
在cm界面安装时中途失败,需要重新安装:
关闭所有服务
#主节点
[root@CDH-DEV1 opt]# /opt/cm-5.7.6/etc/init.d/cloudera-scm-server stop
#主节点及其他节点
[root@CDH-DEV1 opt]# /opt/cm-5.7.6/etc/init.d/cloudera-scm-agent stop
删除agent uuid
rm -rf /opt/cm-5.7.6/lib/cloudera-scm-agent/*
删除数据库scm
mysql -uroot -p
>输入数据库密码
mysql> drop database scm;
mysql> exit;
重新配置scm数据库
/opt/cm-5.7.6/share/cmf/schema/scm_prepare_database.sh mysql -hlocalhost -uroot -p scm scm
在主机下执行下面代码(把<host-name>替换为/etc/hosts文件中正确的名称)
hostnamectl --transient set-hostname <host-name>
然后重启这台节点的cdh服务,等待一会就可以正常解析了。
最后启动Cloudera server和agent。
感悟:
这些问题都是比较繁琐,但是技术含量有限。所以遇到问题,应该及时想办法去看安装日志,找日志中的错误信息,日志是非常好的伙伴,注意使用好他。
例如:其中的节点安装时一共三个节点,两个都已经激活,可是任有一个不能激活。冷静下来想的应该是,这个节点和其他节点没有什么不同,可能是某个
环节出的错误,不必着急重装,可以先看看日志。
cdh平台问题的更多相关文章
- CDH平台搭建解决离线安装依赖包的方法
背景介绍: 1CDH开发平台在搭建的过程中,会遇到各种各样的问题,其中的各种依赖就是一个很让人头痛的问题.如果安装脚本文件出现了这种问题,那么就可以把以下的这种方法加入shell中,但是不要用yum来 ...
- 关于hadoop的运行的一些指标监控(非cdh平台的)
在hadoop-env.sh中添加: # 在配置namenode和datanode时都会有用到JMX_OPTS的代码,是为了减少重复提取出的公共代码 export JMX_OPTS="-Dc ...
- CDH平台搭建遇到的问题
安装之前遇到的问题: Note: Forwarding request to 'systemctl disable NetworkManager.service'. Removed symlink ...
- CM记录-CDH大数据平台实施经验总结2016(转载)
CDH大数据平台实施经验总结2016(转载) 2016年负责实施了一个生产环境的大数据平台,用的CDH平台+docker容器的方式,过了快半年了,现在把总结发出来. 1. 平台规划注意事项 1.1 业 ...
- CDH简易离线部署文档
CDH 离线简易部署文档 文档说明 本文为开发部署文档,生产环境需做相应调整. 以下操作尽量在root用户下操作,避免权限问题. 目录 文档说明 2 文档修改历史记录 2 目录 3 ...
- Apache Kyuubi 助力 CDH 解锁 Spark SQL
Apache Kyuubi(Incubating)(下文简称Kyuubi)是⼀个构建在Spark SQL之上的企业级JDBC网关,兼容HiveServer2通信协议,提供高可用.多租户能力.Kyuub ...
- Impala 1、Impala理论
1.Impala简介 • Cloudera公司推出,提供对HDFS.Hbase数据的高性能.低延迟的交互式SQL查询功能. • 基于Hive使用内存计算,兼顾数据仓库.具有实时.批处理.多并发等优点 ...
- 【Impala篇】---Hue从初始到安装应用
一.前述 Cloudera公司推出,提供对HDFS.Hbase数据的高性能.低延迟的交互式SQL查询功能.基于Hive使用内存计算,兼顾数据仓库.具有实时.批处理.多并发等优点 是CDH平台首选的PB ...
- impala
impala 1.impala是什么: impala是基于hive的大数据实时分析查询引擎,直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中. ...
随机推荐
- iOS的UILabel设置多行显示
label.lineBreakMode = NSLineBreakByWordWrapping; label.numberOfLines = ;
- DB2的HADR
db2stop force; db2start; db2 restore db clmsdb; db2 start hadr on db clmsdb as standby; ************ ...
- 正则爬取京东商品信息并打包成.exe可执行程序
本文爬取内容,输入要搜索的关键字可自动爬取京东网站上相关商品的店铺名称,商品名称,价格,爬取100页(共100页) 代码如下: ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 1 ...
- Shell test命令/流程控制
Shell test命令 Shell中的 test 命令用于检查某个条件是否成立,它可以进行数值.字符和文件三个方面的测试. 数值测试 参数,说明 -eq等于则为真 -ne不等于则为真 -gt 大于则 ...
- wannafly 练习赛10 E 数列查找(莫队+分块分块分块......)
链接:https://www.nowcoder.net/acm/contest/58/E 时间限制:C/C++ 1秒,其他语言2秒 空间限制:C/C++ 32768K,其他语言65536K 64bit ...
- 阿里知识储备之二——junit学习以及android单元测试
一,junit框架 http://blog.csdn.net/afeilxc/article/details/6218908 详细见这篇博客 juit目前已经可以和maven项目进行集成和测试,而且貌 ...
- vsCode格式化插件
ESlint:是用来统一JavaScript代码风格的工具,不包含css.html等. 背景 近来研究前端,然后一直在百度上找VScode格式化(ESlint)的插件,结果找了半天都不靠谱.目前没有一 ...
- [LeetCode]-DataBase-Duplicate Emails
Write a SQL query to find all duplicate emails in a table named Person. +----+---------+ | Id | Emai ...
- 哈夫曼(Huffman)树及其应用
Huffman树又称最优树,是一类带权路径长度最短的树,带权路径长度为从该节点到树根之间的路径长度与节点上权值的成积. 那么如何构建一个Huffman树呢?就需要Huffman算法 1.利用给定的n个 ...
- Oracle dba角色和sysdba的区别
如果用户需要远程sysdba的方式登陆,需要grant sysdba权限,登陆后以sys用户执行命令,需要验证密码文件. 密码文件如果是从12c之前的老版本同步过来,需要重建12c格式的密码文件. d ...