Cloudera Manager Server和Agent所有后发先至。也能够进行CDH5的安装和配置。

然后,主节点可以通过浏览器访问7180port测试(因为CM Server需要花时间来启动,可能要等待一会才干訪问),默认的username和password均为admin。

制作本地源

先下载CDH到本地http://archive-primary.cloudera.com/cdh5/parcels/5.3.4/

这里须要下载三样东西。

首先是与自己系统版本号相相应的parcel包,然后是manifest.json文件。

CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel、
CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha1、
manifest.json

下载完毕后。将这两个文件放到master节点的/opt/cloudera/parcel-repo下(文件夹在安装Cloudera Manager 5时已经生成),注意文件夹一个字都不能错。

[root@hadoop1 parcel-repo]# pwd
/opt/cloudera/parcel-repo
[root@hadoop1 parcel-repo]# ll
总用量 1533188
-rw-r-----. 1 root root 1569930781 6月 27 11:49 CDH-5.3.4-1.cdh5.3.4.p0.4-el6.parcel
-rw-r--r--. 1 root root 41 6月 27 11:49 CDH-5.3.4-1.cdh5.3.4.p0.4-el6.parcel.sha
-rw-r--r--. 1 root root 42475 6月 27 10:18 manifest.json

接下来打开manifest.json文件。里面是json格式的配置。我们须要的就是与我们系统版本号相相应的hash码。因为我们用的是Centos6.5,所以找到例如以下位置:

在这个大括号的最下面找到“hash”所相应的值。

将“hash”的值复制下来,然后,将CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha1文件名称改为CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha。将复制下来的hash值替换掉文本中的hash值,按理说应该是一致的。保存好了,这样。我们的本地源制作完毕了。

然后的操作就是控制台依照步骤安装就可以。

安装CDH

打开http://hadoop1:7180。登陆控制台,默认账户和password都是admin,安装时选择免费版,之后因为cm5对中文的支持非常强大,依照提示安装就可以,假设系统配置有什么问题在安装过程中会有提示,依据提示给系统安装组件就能够了。

登录界面

选取安装版本号

指定安装主机

选取本地Parcel包

接下来,出现下面包名。说明本地Parcel包配置无误,直接点继续就能够了。

集群安装

检查主机正确性

接下来是server检查。可能会遇到下面问题:

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。
使用 sysctl 命令在执行时更改该设置并编辑 /etc/sysctl.conf 以在重新启动后保存该设置。
您能够继续进行安装,但可能会遇到问题。Cloudera Manager 报告您的主机因为交换执行状况不佳。 下面主机受到影响:
···

在会受到影响的主机上执行echo 0 > /proc/sys/vm/swappiness命令就可以解决。

选择安装服务

集群角色分配

普通情况下保持默认就能够了(Cloudera Manager会依据机器的配置自己主动进行配置,假设须要特殊调整,自行进行设置就能够了)。

集群数据库设置

集群审查更改

假设没有其它需求保持默认配置。

最终到安装各个服务的地方了。

注意,这里安装Hive的时候可能会报错,因为我们使用了MySql作为hive的元数据存储。hive默认没有带mysql的驱动。通过下面命令拷贝一个就可以了:

cp /opt/cm-5.3.4/share/cmf/lib/mysql-connector-java-5.1.25-bin.jar
/opt/cloudera/parcels/CDH-5.3.4-1.cdh5.3.4.p0.12/lib/hive/lib/

之后再继续安装就不会遇到问题了。

经过漫长的等待后,服务的安装完毕:

安装完毕后,就能够进入集群界面看一下集群的当前状况了。

測试

[root@hadoop1 /]# su hdfs
[hdfs@hadoop1 /]$ yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 100 1000
Number of Maps = 100
Samples per Map = 1000
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Wrote input for Map #10 ···· 15/06/27 22:45:55 INFO mapreduce.Job: map 100% reduce 0%
15/06/27 22:46:00 INFO mapreduce.Job: map 100% reduce 100%
15/06/27 22:46:01 INFO mapreduce.Job: Job job_1435378145639_0001 completed successfully
15/06/27 22:46:01 INFO mapreduce.Job: Counters: 49
Map-Reduce Framework
Map input records=100
Map output records=200
Map output bytes=1800
Map output materialized bytes=3400
Input split bytes=14490
Combine input records=0
Combine output records=0
Reduce input groups=2
Reduce shuffle bytes=3400
Reduce input records=200
Reduce output records=0
Spilled Records=400
Shuffled Maps =100
Failed Shuffles=0
Merged Map outputs=100
GC time elapsed (ms)=3791
CPU time spent (ms)=134370
Physical memory (bytes) snapshot=57824903168
Virtual memory (bytes) snapshot=160584515584
Total committed heap usage (bytes)=80012115968
Shuffle Errors
BAD_ID=0
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=11800
File Output Format Counters
Bytes Written=97
Job Finished in 50.543 seconds
Estimated value of Pi is 3.14120000000000000000

查看mapreduce作业

检查Hue

首次登陆Hue会让设置一个初试的username和password,设置好,登陆到后台。会做一次检查,一切正常后会提示。



到这里表明我们的集群能够使用了。

离线安装Cloudera Manager5.3.4与CDH5.3.4(二)的更多相关文章

  1. 离线安装Cloudera Manager5.3.4与CDH5.3.4

    文章转载:http://www.aboutyun.com/thread-14024-1-1.html 前期准备工作(系统环境搭建) 操作系统:CentOS 6.5 x64 CPU*2 64G 300G ...

  2. 离线安装Cloudera Manager5.2.0和CDH5 2.0

    第一次安装出现了各种问题,尤其是对于不是太熟悉linux系统的更是头疼不已呀!特此记录一下,希望能够让小伙伴们少走点弯路. 1.给机器添加路由 (根据自己的机器情况,可以忽略)   route add ...

  3. 离线安装Cloudera Manager5.3.4与CDH5.3.4(一)

    这几天一直在安装CDH,头都搞大了,安装第三次,最终成功了. 第一次问题非常多.后面卸载了.由于没有卸载干净导致第二次安装失败. 后来索性重装系统了.直接使用了纯净系统进行安装.一个人跑到学院机房去装 ...

  4. 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...

  5. 离线安装 Cloudera Manager 5 和 CDH5.10

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...

  6. 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(六)CM的安装

    一.角色分配 Cloudera Manager Agent:向server端报告当前机器服务状态. Cloudera Manager Server:接受agent角色报告服务状态,以视图界面展现,方便 ...

  7. 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(一)环境说明

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...

  8. 离线安装Cloudera Manager 5和CDH5

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Cloudera 完全开源的Hadoop  ...

  9. CentOS 6.4 离线安装 Cloudera 5.7.1 CDH 5.7.1

    因为项目开发需要要在本地组建一个Hadoop/Spark集群,除了Hadoop/Spark还要同时安装多个相关的组件,如果一个个组件安装配置,对于一个由多台服务器组成的集群来说,工作量是巨大的. 所以 ...

随机推荐

  1. Java线程池的工作原理与实现

    简单介绍 创建线程有两种方式:继承Thread或实现Runnable.Thread实现了Runnable接口,提供了一个空的run()方法,所以不论是继承Thread还是实现Runnable,都要有自 ...

  2. Repeater的ItemCommand事件(LinkButton)

    Repeater的ItemCommand事件,就是在里面加一个超链接的按钮,所有按钮都指向同一个事件,就是ItemCommand事件. 至于如何区分是点击的什么按钮,还有传的值,需要用到LinkBut ...

  3. poj2392

    首先按限制高度排序,然后按多重背包做dp 这里的背包只用知道每种状态是否可行,所以 这里的多重背包可以变成O(nm) ; ..,..,..] of longint;     a,b:..] of lo ...

  4. python20151125

    python exit() python test.py 输入输出 print('2\n2') print(1, 2, 3) name = input() print(':', name) 数据类型和 ...

  5. HTML5 离线功能介绍

    HTML5 是目前正在讨论的新一代 HTML 标准,它代表了现在 Web 领域的最新发展方向.在 HTML5 标准中,加入了新的多样的内容描述标签,直接支持表单验证.视频音频标签.网页元素的拖拽.离线 ...

  6. 利用IE/FF的不同识别CSS来使用浏览器兼容问题

    区别IE6与FF: background:orange;*background:blue; 区别IE6与IE7: background:green !important;background:blue ...

  7. [转载]C#基础-Func,Action

    Func,Action 的介绍及其用法 Func是一种委托,这是在3.5里面新增的,2.0里面我们使用委托是用Delegate,Func位于System.Core命名空间下,使用委托可以提升效率,例如 ...

  8. ASP.NET MVC 入门10、Action Filter 与 内置的Filter实现(实例-防盗链)

    于ASP.NET MVC Preview5. 前一篇中我们已经了解了Action Filter 与 内置的Filter实现,现在我们就来写一个实例.就写一个防盗链的Filter吧. 首先继承自Filt ...

  9. UVA 11928 The Busy Dog

    题意:一只狗被拴在杆子上,从起点开始按直线依次跑到给出的点最后回到起点问绕杆子几圈,逆时针为正,顺时针为负,撞到杆子输出Ouch!. 解法:用叉积判断方向,用余弦定理求出以杆子为顶点的角,加和除以2π ...

  10. 设计模式之Memento(备忘机制)

    Memento备望录模式定义:memento是一个保存另外一个对象内部状态拷贝的对象.这样以后就可以将该对象恢复到原先保存的状态. Memento模式相对也比较好理解,我们看下列代码: public ...