创建群集主机的虚拟映像

您可以使用预先部署的Cloudera软件创建虚拟机映像,例如PXE启动映像,Amazon AMI和Azure VM映像,这些映像可用于快速启动虚拟机。这些图像使用parcel来安装CDH软件。本主题描述了创建Cloudera Manager主机和工作主机映像的过程以及如何从这些映像实例化主机。

创建预部署的Cloudera Manager主机

要创建Cloudera Manager虚拟机映像:
  1. 基于支持的操作系统实例化虚拟机映像(如果使用Amazon Web Services,则为AMI)并启动虚拟机。有关详细信息,请参阅虚拟化环境的文档。
  2. 安装Cloudera Manager并配置数据库。您可以配置本地或远程数据库
  3. 等待Cloudera Manager管理控制台变为活动状态。
  4. 登录Cloudera Manager管理控制台。
  5. 下载 Cloudera Manager管理的CDH或其他服务的任何包裹。不要分发或激活包裹。
  6. 登录Cloudera Manager服务器主机:
    1. 运行以下命令以停止Cloudera Manager服务:

      service cloudera-scm-server stop
    2. 运行以下命令以禁用自动启动 Cloudera-scm-server 服务:
      • RHEL6.x,CentOS 6.x和SUSE:

        chkconfig cloudera-scm-server off
        
      • RHEL 7.x / CentOS 7.xx:
        systemctl disable cloudera-scm-server.service
      • Ubuntu的:
        update-rc.d -f cloudera-scm-server remove
        
  7. 创建Cloudera Manager主机的映像。有关详细信息,请参阅虚拟化环境的文档。
  8. 如果在远程主机上安装了Cloudera Manager数据库,还要创建数据库主机的映像。注意:确保在创建映像时没有客户端使用远程数据库。

实例化Cloudera Manager映像

要从虚拟机映像创建新的Cloudera Manager实例,请执行以下操作:
  1. 实例化Cloudera Manager映像。
  2. 如果Cloudera Manager数据库将托管在远程主机上,则还要实例化数据库主机映像。
  3. 确保  cloudera-scm-server 通过在Cloudera Manager主机上运行以下命令,服务未运行:
    service cloudera-scm-server status

    如果它正在运行,请使用以下命令将其停止:

    service cloudera-scm-server stop
  4. 在Cloudera Manager主机上,创建一个名为的文件 UUID 在里面/ etc /cloudera-scm-serve 目录。使用以下命令为此文件添加全局唯一标识符:
    cat /proc/sys/kernel/random/uuid > /etc/cloudera-scm-server/uuid

    此文件的存在通知Cloudera Manager在启动时重新初始化其自己的唯一标识符。

  5. 运行以下命令以启动Cloudera Manager服务:
    service cloudera-scm-server start
  6. 运行以下命令以启用自动重新启动 cloudera-scm-serve :
    • RHEL6.x,CentOS 6.x和SUSE:

      chkconfig cloudera-scm-server on
      
    • RHEL 7.x / CentOS 7.xx:
      systemctl enable cloudera-scm-server.service
      
    • Ubuntu的:
      update-rc.d -f cloudera-scm-server defaults
 

创建预部署的工作主机

  1. 基于支持的操作系统实例化虚拟机映像(如果使用Amazon Web Services,则为AMI)并启动虚拟机。有关详细信息,请参阅虚拟化环境的文档。
  2. 从公共包存储库或 已创建的存储库下载工作者主机所需的宗地,并将其保存到临时目录。请参阅Cloudera Manager版本和下载信息
  3. 从下载包裹的同一位置下载 parcel_name .parcel.sha1 每个包裹的文件。
  4. 计算并比较下载的宗地的sha1,以确保正确下载了宗地。例如:
    sha1sum KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel | awk'{print $ 1}'> KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel.sha diff KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel.sha1 KAFKA-2.0 .2-1.2.0.2.p0.5-el6.parcel.sha
  5. 打开包裹的包装:
    1. 创建以下目录:

      • /opt/cloudera/parcels
      • /opt/cloudera/parcel-cache
    2. 设置刚刚创建的两个目录的所有权,以便它们由Cloudera Manager代理运行的用户名拥有。
    3. 使用以下命令设置每个目录的权限:
      sudo chmod 755 <directory>

      请注意,这些目录的内容将公开,并且可以安全地标记为世界可读的。

    4. 作为运行Cloudera Manager代理的同一用户运行,使用以下命令从临时目录中提取parcel的内容:
      tar -zxvf <parcel> -C / opt / cloudera / parcels /
    5. 从每个宗地的产品名称添加符号链接到 /opt/cloudera/parcels目录。
      例如,要链接 /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24 至 / opt / cloudera / parcels /CDH,使用以下命令:

      sudo ln -s /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24 /opt/cloudera/parcels/CDH
    6. 在启动时通过添加a来标记Cloudera Manager代理不会删除宗地 .dont_delete 标记文件(此文件没有内容)到每个子目录 /opt/cloudera/parcels目录。例如:
      touch /opt/cloudera/parcels/CDH/.dont_delete
6.验证文件是否存在:
ls -l / opt / cloudera / parcels / <parcel>
您应该看到类似于以下内容的输出:
ls -al / opt / cloudera / parcels / CDH
total 100
drwxr-xr-x  9 root root  4096 Sep 14 14:53 .
drwxr-xr-x  9 root root  4096 Sep 14 06:34 ..
drwxr-xr-x  2 root root  4096 Sep 12 06:39 bin
-rw-r--r--  1 root root     0 Sep 14 14:53 .dont_delete
drwxr-xr-x 26 root root  4096 Sep 12 05:10 etc
drwxr-xr-x  4 root root  4096 Sep 12 05:04 include
drwxr-xr-x  2 root root 69632 Sep 12 06:44 jars
drwxr-xr-x 37 root root  4096 Sep 12 06:39 lib
drwxr-xr-x  2 root root  4096 Sep 12 06:39 meta
drwxr-xr-x  5 root root  4096 Sep 12 06:39 share
  1. 安装Cloudera Manager代理。如果您还没有这样做,请执行步骤1:为Cloudera Manager配置存储库
  2. 创建工作主机的映像。有关详细信息,请参阅虚拟化环境的文档。

实例化工作者主机

  1. 实例化Cloudera工作者主机映像。
  2. 编辑以下文件并设置 SERVER_HOST 和 服务器端口 用于引用Cloudera Manager服务器主机的属性。
  3. 如有必要,请执行其他步骤以配置TLS / SSL。请参阅为Cloudera Manager配置TLS加密
  4. 启动代理服务:
    sudo service cloudera-scm-agent start

1.5.3、CDH 搭建Hadoop在安装之前(定制安装解决方案---创建群集主机的虚拟映像)的更多相关文章

  1. 使用Windows Azure的VM安装和配置CDH搭建Hadoop集群

    本文主要内容是使用Windows Azure的VIRTUAL MACHINES和NETWORKS服务安装CDH (Cloudera Distribution Including Apache Hado ...

  2. 2.2、CDH 搭建Hadoop在安装(安装Java Development Kit)

    第2步:安装Java Development Kit 要安装Oracle JDK,您可以使用Cloudera Manager安装Cloudera提供的版本,也可以直接安装Oracle的其他版本. 继续 ...

  3. 1.5.7、CDH 搭建Hadoop在安装之前(定制安装解决方案---配置单用户模式)

    配置单用户模式 在传统的Cloudera Manager部署中,管理每台主机上的Hadoop进程的Cloudera Manager Agent以root用户身份运行.但是,某些环境会限制对root帐户 ...

  4. 1.4、CDH 搭建Hadoop在安装之前(推荐的群集主机和角色分配)

    推荐的群集主机和角色分配 要点:本主题描述了Cloudera Manager管理的CDH群集的建议角色分配.您为部署选择的实际分配可能会有所不同,具体取决于工作负载的类型和数量,群集中部署的服务,硬件 ...

  5. 2.7、CDH 搭建Hadoop在安装(使用向导设置群集)

    步骤7:使用向导设置群集 完成“ 群集安装”向导后,“ 群集设置”向导将自动启动.以下部分将指导您完成向导的每个页面: 选择服务 分配角色 设置数据库 查看更改 首次运行命令 恭喜! 选择服务 “ 选 ...

  6. 2.5、CDH 搭建Hadoop在安装(设置Cloudera Manager数据库)

    步骤5:设置Cloudera Manager数据库 Cloudera Manager Server包含一个可以为自己创建和配置数据库的脚本.该脚本可以: 创建Cloudera Manager Serv ...

  7. 2.6、CDH 搭建Hadoop在安装(安装CDH和其他软件)

    第6步:安装CDH和其他软件 设置Cloudera Manager数据库后,启动Cloudera Manager Server,然后登录Cloudera Manager Admin Console: ...

  8. 2.1、CDH 搭建Hadoop在安装(为Cloudera Manager配置存储库)

    步骤1:为Cloudera Manager配置存储库 使用包管理工具安装Cloudera Manager yum 对于RHEL兼容系统, zypper对于SLES,和 apt-get对于Ubuntu. ...

  9. 1.5.6、CDH 搭建Hadoop在安装之前(定制安装解决方案---使用Cloudera Manager模板创建CDH群集)

    使用Cloudera Manager模板创建CDH群集 您可以通过从Cloudera Manager管理的现有CDH群集导出群集模板来创建新的CDH群集.然后,您可以修改模板并使用它在新的主机集上创建 ...

随机推荐

  1. java中的Map

    Java8增强的Map集合 Map接口中定义了如下常用的方法. void clear():删除该Map对象中的所有key-value对. boolean containsKey(Object key) ...

  2. 下雨天,适合学「Spring Boot」

      北方的闷热,让不少小伙伴盼着下雨,前几天北京下了场大雨,杭州也紧跟这下了场雨,就在昨天原本还很闷热的天,突然就飘泼大雨了.今天也断断续续的下着小雨,一觉醒来已经是10点了.有句话说:懒惰是人的天性 ...

  3. Linux NTP

    1.Server 2.QuickStart last 1.Server 0.cn.pool.ntp.org 1.cn.pool.ntp.org 2.cn.pool.ntp.org 3.cn.pool. ...

  4. HashMap扩容机制

    1.什么是resize: resize就是重新计算容量:当我们不断的向HashMap对象里不停的添加元素时,HashMap对象内部的数组就会出现无法装载更多的元素,这是对象就需要扩大数组的长度,以便能 ...

  5. Java并发编程:Java Thread方法join的简单总结

    虽然关于讨论线程join方法的博客已经很多了,不过个人感觉挺多都讨论得不够全面,所以我觉得有必要对其进行一个全面的总结. 一.作用 Thread类中的join方法的主要作用就是同步,它可以使得线程之间 ...

  6. html调用html的方法

    html调用html的方法 html中引入调用另一个html的方法,尝试了好几种,都列出来: 其中第一种是最好的,其他的方法,可以尝试看看,是不是适合你当前项目 一.div+$(“#page1”).l ...

  7. 《算法》BEYOND 部分程序 part 3

    ▶ 书中第六章部分程序,加上自己补充的代码,包括 Graham 扫描生成凸包,计算最远点对 ● Graham 扫描生成凸包 package package01; import java.util.Ar ...

  8. 白鹭引擎 - 碰撞检测 ( hitTestPoint )

    1, 矩形碰撞检测 class Main extends egret.DisplayObjectContainer { /** * Main 类构造器, 初始化的时候自动执行, ( 子类的构造函数必须 ...

  9. kubectl version报did you specify the right host or port

    现象: [root@localhost shell]# kubectl version Client Version: version.Info{Major:", GitVersion:&q ...

  10. 微信小程序request请求封装

    var app = getApp(); function request(url,postData,doSuccess,doFail,doComplete){ var host = getApp(). ...