redhat7和redhat6混合搭建文档
1.下载cm对应redhat7的版本。
2.修改/opt/cloudera/cm-5.10.0/etc/cloudera-scm-agent/config.ini成为中心机器hostname/ip(master)
4.启动/opt/cloudera/cm-5.10.0/etc/init.d/cloudera-scm-agent(cloudera-scm-agent start(启动)/cloudera-scm-agent status(状态)).可以观察目录是否启动正常。
5.修改中心机器目录/opt/cloudera/parcels 和 /opt/cloudera/parcel-repo都修改为支持redhat7的版本以提供分发给新加入主机机器,必须把sha1修正为sha然后等待它自动生成 XX.torrent的文件(此时cloudera-scm-server的log很可能会报错,不过不用理会暂时没发现问题)
6.在CM界面添加新主机得到中心机器分发的CDH安装包。安装完成后/opt/cloudera/parcels目录可以看到CDH的目录就是分发安装完成了,
完成后记得把parcel和parcel-repo修改为6的版本(不然cloudera-scm-server服务会出错,重启也很可能会出错。毕竟中心机器是6版本,读取了7的版本会同步出错,执行hadoop version都会变成无效,修改为6版本后正常)
7.开始分配datanode,加入集群。出现报如错误:JAVA_HOME is not set and could not be found
解决 安装1.6以上JDK包。记得不能放在用户home下。后面其他用户很可能发现权限问题。我放在/opt 解压得到jdk1.8.0_161java目录。把到/usr下建立java目录建立软连接
ln -s yourdir default链接到java目录得到(default -> /opt/jdk1.8.0_161)。
8.vi /etc/default/bigtop-utils 写入export JAVA_HOME=/usr/java/default
9.source /etc/default/bigtop-utils
到此datanode加入启动成功。
10.发现配置文件未写入(会产生错误:fs.defaultFS is not set when running “mkdir” command.)
11.在cloudera manager里面的界面点击操作---》部署客户端配置
12.报错仅完成 0/1 个步骤。首个失败:在服务 HDFS 上执行命令 Deploy Client Configuration 失败
13.到/opt/cloudera/cm-5.10.0/run/cloudera-scm-agent/process/ccdeploy_hadoop-conf_etchadoopconf.cloudera.hdfs_-8565027461001265838/logs查看具体日志log,发现是line 115: perl: command not found插件未安装
14.安装gcc包和包依赖(rpm -ivh *.rpm --nodeps --force) gcc version 4.8.5 20150623 (Red Hat 4.8.5-11) (GCC) ,GCC依赖的包会比较多最好找统一的一份下载。或者通过yum(内网只能自己用rpm了)
15.安装插件perl
(
mkdir /usr/local/perl(建立系统使用目录给perl)
./Configure --help
到解压的perl目录下执行
./Configure -des -Dprefix=/usr/local/perl -Dusethreads -Uversiononly
make
make install
)
16.此处发现 [pp_sys.o] Error 1一类错误也就是perl没安装成功,调整了好几个版本用回,最后用perl-5.10.1.tar.gz
安装了 rpm -ivh kernel-headers-3.10.0-957.el7.x86_64.rpm
到此处perl安装成功。
17.重新部署客户端配置成功。集群同步hdfs状态配置文件成功。机器成功加入
自此redhat6和redhat7混合搭建完成。
存在不足:1.替换了parcels和parcel-repo 会引发中心机器cloudera-scm-agent混乱,报错。虽然安装完成恢复成6包可以恢复成原来样子但是报错不知道会不会引发其他问题
2.linux6和linux7后期维护包存在麻烦因为又6和7两套
3.后期如果要打parcels升级版本会存在严重问题。因为6和7不能采用同一套。这个暂时还没查询怎么解决。或者只能分配到系统同样的一批机器
为了集群稳定和可维护性,最好还是选用统一的版本进行安装,减少后期麻烦
一些错误信息的解决(不一定准确,但是我安装过程是起作用的)
报错信息:MainThread agent ERROR Heartbeating to localhost:7182 failed.
解决:配置CM Agent
cm的安装包的server和agent都是同一个包,启动的时候启动命令指定为server还是agent;cm有一个工作目录,需要
我们来创建;创建一个用户;修改agent的配置,给它指定server的位置;那个端口7182是server和agent通信的端口;
server_host配置为server的名字;
修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中 server_host(三台机器)
报错信息:ERROR Heartbeating to master:7182 failed。
错误解释:向master节点的指定端口7180发送心跳检测失败。
首次启动Agent,它会生成一个uuid,路径为:/opt/cm-5.1.3/lib/cloudera-scm-agent/uuid,如果每台机器上的Agent的uuid都是一样,就会出现报错情况。
报错解决:
进入目录:cd /opt/cm-5.15.1/lib/cloudera-scm-agent/
删除uuid:rm -rf uuid
重启agent:/opt/cm-5.15.1/etc/init.d/cloudera-scm-agent restart
报错信息:loudemanager安装时出现8475 MainThread agent ERROR Heartbeating to 192.168.30.1:7182 failed问题解决方法
# ps aux | grep super
root 18949 0.0 0.1 223624 12996 ? Ss 11:16 0:00 /opt/cm-5.7.0/lib64/cmf/agent/build/env/bin/python /opt/cm-5.7.0/lib64/cmf/agent/build/env/bin/supervisord
root 23390 0.0 0.0 112656 972 pts/0 S+ 11:37 0:00 grep --color=auto super
#kill 18949
sudo service cloudera-scm-agent stop
Unable to retrieve remote parcel repository manifest
不影响使用
报错信息:KeyError: 'getpwnam(): name not found: cloudera-scm'
groupadd cloudera-scm
useradd cloudera-scm -g cloudera-scm
chown cloudera-scm:cloudera-scm /var/log/cloudera-scm(缺少用户信息)
redhat7和redhat6混合搭建文档的更多相关文章
- 环境搭建文档——Windows下的Python3环境搭建
前言 背景介绍: 自己用Python开发了一些安卓性能自动化测试的脚本, 但是想要运行这些脚本的话, 本地需要Python的环境. 测试组的同事基本都没有安装Python环境, 于是乎, 我就想直接在 ...
- 生产环境轻量级dns服务器dnsmasq搭建文档
dnsmasq搭建文档 一.生产环境域名解析问题 之前生产环境设备较少,是通过维护master(192.168.1.1)设备的hosts文件实现的.每次新增设备后,需要在master的hosts文件中 ...
- kafka集群搭建文档
kafka集群搭建文档 一. 下载解压 从官网下载Kafka,下载地址http://kafka.apache.org/downloads.html 注意这里最好下载scala2.10版本的kafka, ...
- VUE CLI环境搭建文档
VUE CLI环境搭建文档 1.安装Node.js 下载地址 https://nodejs.org/zh-cn/download/ 2.全局安装VUE CLI win+R键打开运行cmd窗口输入一下代 ...
- OpenStack Pike超详细搭建文档 LinuxBridge版
前言 搭建前必须看我 本文档搭建的是分布式P版openstack(1 controller + N compute + 1 cinder)的文档. openstack版本为Pike. 搭建的时候,请严 ...
- OpenStack Ocata 超详细搭建文档
前言 搭建前必须看我本文档搭建的是分布式O版openstack(controller+ N compute + 1 cinder)的文档.openstack版本为Ocata.搭建的时候,请严格按照文档 ...
- 使用ghpage(github服务)搭建文档网站几种方式
可以通过github提供的ghpage服务来搭建网站,有以下三种方式来实现: 1.文档放在master分支,作为一个子目录. 仓库:https://github.com/Ourpalm/ILRunti ...
- Readthedocs+Github搭建文档
一.文档撰写前提 环境部署: > git clone https://github.com/toooney/demo-readthedocs.git > pip install sphin ...
- 推荐一个vuepress模板,一键快速搭建文档站
介绍 vuepress-template是一个简单的VuePress案例模板,目的是让用户可以直接clone这个仓库,作为初始化一个VuePress网站启动项目,然后在这个项目的基础上新增自定义配置和 ...
随机推荐
- Microsoft specification
http://msdn.microsoft.com/en-US/ 搜索 specification 搜索"PE COFF specification",得到一篇Microsoft官 ...
- 拾遗:Go 代码结构
#define @ $ 概述 Go 编码通常将所有代码放置在同一个工作区 一个工作区包含多个版本仓库,使用 Git 等工具控制 每个仓库包含一个或多个包 每个包由同一目录中的一份或多份源代码组成 包的 ...
- 前端(八)—— 高级布局:文档流、浮动布局、流式布局、定位布局、flex布局、响应布局
高级布局:文档流.浮动布局.流式布局.定位布局.flex布局.响应布局 一.文档流 1.什么是文档流 将窗体自上而下分成一行一行,块级元素从上至下.行内元素在每行中从左至右的顺序依次排放元素 2.本质 ...
- DQL 数据查询语言 select
1.select 1.select 单独使用 (1) 查询数据库的参数 查看端口: select @@port; 查看数据路径 select @@datadir; (2)调用内置函数 查看当前库 se ...
- Matlab转opencv遇到的坑
之前在学校里面做研究用都是Matlab,后来工作中因为对算法的实时性有很高的要求,所以转向了opencv.我想我遇到的第一大坑就是opencv默认的通道顺序是BGR而不是RGB. 这个顺带的就是灰度化 ...
- (数据科学学习手札59)从抓取数据到生成shp文件并展示
一.简介 shp格式的文件是地理信息领域最常见的文件格式之一,很好的结合了矢量数据与对应的标量数据,而在Python中我们可以使用pyshp来完成创建shp文件的过程,本文将从如何从高德地图获取矢量信 ...
- 让微信小程序页面之间的通信不在变得困难
一个开始 小程序开发者总会碰到各种页面之间的通信问题,实现方式也五花八门,比如... 场景还原 首先这是一个电商小程序. 有这样一个需求: 首页某个地方要展示购物车商品数量. 当我在其他页面加购了商品 ...
- 用redis实现悲观锁(后端语言以php为例)
1479 锁机制 通常使用的锁分为乐观锁,悲观锁这两种,简单介绍下这两种锁,作为本文的背景知识,对这类知识已经有足够了解的同学可以跳过这部分. 乐观锁 先来看下百度百科上的解释:大多是基于数据版本( ...
- 框架_mybatis1
mybatis框架是实现与数据之间交互 入门: 创建数据库环境 创建实体类与数据库对应字段 实现Serializable 创建接口定义方法 创建主配置方法: <?xml version=&quo ...
- webpack4.x的使用历程
第一次接触的webpack是在一个3.x的资料中 在4.x的运用中遇到了好多的坑,我就以小白的身份把我使用webpaxk的过程分享出来,其中很多不足欢迎大佬们指正 node安装不再赘述 一.安装 np ...