离线安装Cloudera Manager5.3.4与CDH5.3.4(二)
Cloudera Manager Server和Agent所有后发先至。也能够进行CDH5的安装和配置。
然后,主节点可以通过浏览器访问7180port测试(因为CM Server需要花时间来启动,可能要等待一会才干訪问),默认的username和password均为admin。
制作本地源
先下载CDH到本地http://archive-primary.cloudera.com/cdh5/parcels/5.3.4/,
这里须要下载三样东西。
首先是与自己系统版本号相相应的parcel包,然后是manifest.json文件。
CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel、
CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha1、
manifest.json
下载完毕后。将这两个文件放到master节点的/opt/cloudera/parcel-repo下(文件夹在安装Cloudera Manager 5时已经生成),注意文件夹一个字都不能错。
[root@hadoop1 parcel-repo]# pwd
/opt/cloudera/parcel-repo
[root@hadoop1 parcel-repo]# ll
总用量 1533188
-rw-r-----. 1 root root 1569930781 6月 27 11:49 CDH-5.3.4-1.cdh5.3.4.p0.4-el6.parcel
-rw-r--r--. 1 root root 41 6月 27 11:49 CDH-5.3.4-1.cdh5.3.4.p0.4-el6.parcel.sha
-rw-r--r--. 1 root root 42475 6月 27 10:18 manifest.json
接下来打开manifest.json文件。里面是json格式的配置。我们须要的就是与我们系统版本号相相应的hash码。因为我们用的是Centos6.5,所以找到例如以下位置:
在这个大括号的最下面找到“hash”所相应的值。
将“hash”的值复制下来,然后,将CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha1文件名称改为CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha。将复制下来的hash值替换掉文本中的hash值,按理说应该是一致的。保存好了,这样。我们的本地源制作完毕了。
然后的操作就是控制台依照步骤安装就可以。
安装CDH
打开http://hadoop1:7180。登陆控制台,默认账户和password都是admin,安装时选择免费版,之后因为cm5对中文的支持非常强大,依照提示安装就可以,假设系统配置有什么问题在安装过程中会有提示,依据提示给系统安装组件就能够了。
登录界面
选取安装版本号
指定安装主机
选取本地Parcel包
接下来,出现下面包名。说明本地Parcel包配置无误,直接点继续就能够了。
集群安装
检查主机正确性
接下来是server检查。可能会遇到下面问题:
Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。
使用 sysctl 命令在执行时更改该设置并编辑 /etc/sysctl.conf 以在重新启动后保存该设置。
您能够继续进行安装,但可能会遇到问题。Cloudera Manager 报告您的主机因为交换执行状况不佳。
下面主机受到影响:
···
在会受到影响的主机上执行echo 0 > /proc/sys/vm/swappiness
命令就可以解决。
选择安装服务
集群角色分配
普通情况下保持默认就能够了(Cloudera Manager会依据机器的配置自己主动进行配置,假设须要特殊调整,自行进行设置就能够了)。
集群数据库设置
集群审查更改
假设没有其它需求保持默认配置。
最终到安装各个服务的地方了。
注意,这里安装Hive的时候可能会报错,因为我们使用了MySql作为hive的元数据存储。hive默认没有带mysql的驱动。通过下面命令拷贝一个就可以了:
cp /opt/cm-5.3.4/share/cmf/lib/mysql-connector-java-5.1.25-bin.jar
/opt/cloudera/parcels/CDH-5.3.4-1.cdh5.3.4.p0.12/lib/hive/lib/
之后再继续安装就不会遇到问题了。
经过漫长的等待后,服务的安装完毕:
安装完毕后,就能够进入集群界面看一下集群的当前状况了。
測试
[root@hadoop1 /]# su hdfs
[hdfs@hadoop1 /]$ yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 100 1000
Number of Maps = 100
Samples per Map = 1000
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Wrote input for Map #10
····
15/06/27 22:45:55 INFO mapreduce.Job: map 100% reduce 0%
15/06/27 22:46:00 INFO mapreduce.Job: map 100% reduce 100%
15/06/27 22:46:01 INFO mapreduce.Job: Job job_1435378145639_0001 completed successfully
15/06/27 22:46:01 INFO mapreduce.Job: Counters: 49
Map-Reduce Framework
Map input records=100
Map output records=200
Map output bytes=1800
Map output materialized bytes=3400
Input split bytes=14490
Combine input records=0
Combine output records=0
Reduce input groups=2
Reduce shuffle bytes=3400
Reduce input records=200
Reduce output records=0
Spilled Records=400
Shuffled Maps =100
Failed Shuffles=0
Merged Map outputs=100
GC time elapsed (ms)=3791
CPU time spent (ms)=134370
Physical memory (bytes) snapshot=57824903168
Virtual memory (bytes) snapshot=160584515584
Total committed heap usage (bytes)=80012115968
Shuffle Errors
BAD_ID=0
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=11800
File Output Format Counters
Bytes Written=97
Job Finished in 50.543 seconds
Estimated value of Pi is 3.14120000000000000000
查看mapreduce作业
检查Hue
首次登陆Hue会让设置一个初试的username和password,设置好,登陆到后台。会做一次检查,一切正常后会提示。
到这里表明我们的集群能够使用了。
离线安装Cloudera Manager5.3.4与CDH5.3.4(二)的更多相关文章
- 离线安装Cloudera Manager5.3.4与CDH5.3.4
文章转载:http://www.aboutyun.com/thread-14024-1-1.html 前期准备工作(系统环境搭建) 操作系统:CentOS 6.5 x64 CPU*2 64G 300G ...
- 离线安装Cloudera Manager5.2.0和CDH5 2.0
第一次安装出现了各种问题,尤其是对于不是太熟悉linux系统的更是头疼不已呀!特此记录一下,希望能够让小伙伴们少走点弯路. 1.给机器添加路由 (根据自己的机器情况,可以忽略) route add ...
- 离线安装Cloudera Manager5.3.4与CDH5.3.4(一)
这几天一直在安装CDH,头都搞大了,安装第三次,最终成功了. 第一次问题非常多.后面卸载了.由于没有卸载干净导致第二次安装失败. 后来索性重装系统了.直接使用了纯净系统进行安装.一个人跑到学院机房去装 ...
- 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...
- 离线安装 Cloudera Manager 5 和 CDH5.10
关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...
- 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(六)CM的安装
一.角色分配 Cloudera Manager Agent:向server端报告当前机器服务状态. Cloudera Manager Server:接受agent角色报告服务状态,以视图界面展现,方便 ...
- 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(一)环境说明
关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...
- 离线安装Cloudera Manager 5和CDH5
关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Cloudera 完全开源的Hadoop ...
- CentOS 6.4 离线安装 Cloudera 5.7.1 CDH 5.7.1
因为项目开发需要要在本地组建一个Hadoop/Spark集群,除了Hadoop/Spark还要同时安装多个相关的组件,如果一个个组件安装配置,对于一个由多台服务器组成的集群来说,工作量是巨大的. 所以 ...
随机推荐
- Java线程池的工作原理与实现
简单介绍 创建线程有两种方式:继承Thread或实现Runnable.Thread实现了Runnable接口,提供了一个空的run()方法,所以不论是继承Thread还是实现Runnable,都要有自 ...
- Repeater的ItemCommand事件(LinkButton)
Repeater的ItemCommand事件,就是在里面加一个超链接的按钮,所有按钮都指向同一个事件,就是ItemCommand事件. 至于如何区分是点击的什么按钮,还有传的值,需要用到LinkBut ...
- poj2392
首先按限制高度排序,然后按多重背包做dp 这里的背包只用知道每种状态是否可行,所以 这里的多重背包可以变成O(nm) ; ..,..,..] of longint; a,b:..] of lo ...
- python20151125
python exit() python test.py 输入输出 print('2\n2') print(1, 2, 3) name = input() print(':', name) 数据类型和 ...
- HTML5 离线功能介绍
HTML5 是目前正在讨论的新一代 HTML 标准,它代表了现在 Web 领域的最新发展方向.在 HTML5 标准中,加入了新的多样的内容描述标签,直接支持表单验证.视频音频标签.网页元素的拖拽.离线 ...
- 利用IE/FF的不同识别CSS来使用浏览器兼容问题
区别IE6与FF: background:orange;*background:blue; 区别IE6与IE7: background:green !important;background:blue ...
- [转载]C#基础-Func,Action
Func,Action 的介绍及其用法 Func是一种委托,这是在3.5里面新增的,2.0里面我们使用委托是用Delegate,Func位于System.Core命名空间下,使用委托可以提升效率,例如 ...
- ASP.NET MVC 入门10、Action Filter 与 内置的Filter实现(实例-防盗链)
于ASP.NET MVC Preview5. 前一篇中我们已经了解了Action Filter 与 内置的Filter实现,现在我们就来写一个实例.就写一个防盗链的Filter吧. 首先继承自Filt ...
- UVA 11928 The Busy Dog
题意:一只狗被拴在杆子上,从起点开始按直线依次跑到给出的点最后回到起点问绕杆子几圈,逆时针为正,顺时针为负,撞到杆子输出Ouch!. 解法:用叉积判断方向,用余弦定理求出以杆子为顶点的角,加和除以2π ...
- 设计模式之Memento(备忘机制)
Memento备望录模式定义:memento是一个保存另外一个对象内部状态拷贝的对象.这样以后就可以将该对象恢复到原先保存的状态. Memento模式相对也比较好理解,我们看下列代码: public ...