1.5.3、CDH 搭建Hadoop在安装之前(定制安装解决方案---创建群集主机的虚拟映像)

创建群集主机的虚拟映像

您可以使用预先部署的Cloudera软件创建虚拟机映像，例如PXE启动映像，Amazon AMI和Azure VM映像，这些映像可用于快速启动虚拟机。这些图像使用parcel来安装CDH软件。本主题描述了创建Cloudera Manager主机和工作主机映像的过程以及如何从这些映像实例化主机。

继续阅读：

• 创建预部署的Cloudera Manager主机
• 实例化Cloudera Manager映像
• 创建预部署的工作主机
• 实例化工作者主机

创建预部署的Cloudera Manager主机

要创建Cloudera Manager虚拟机映像：

1. 基于支持的操作系统实例化虚拟机映像（如果使用Amazon Web Services，则为AMI）并启动虚拟机。有关详细信息，请参阅虚拟化环境的文档。
2. 安装Cloudera Manager并配置数据库。您可以配置本地或远程数据库。
3. 等待Cloudera Manager管理控制台变为活动状态。
4. 登录Cloudera Manager管理控制台。
5. 下载 Cloudera Manager管理的CDH或其他服务的任何包裹。不要分发或激活包裹。
6. 登录Cloudera Manager服务器主机：
   1. 运行以下命令以停止Cloudera Manager服务：
      service cloudera-scm-server stop
   2. 运行以下命令以禁用自动启动 Cloudera-scm-server 服务：
      • RHEL6.x，CentOS 6.x和SUSE：

        chkconfig cloudera-scm-server off
        

      • RHEL 7.x / CentOS 7.xx：
        systemctl disable cloudera-scm-server.service
      • Ubuntu的：

        update-rc.d -f cloudera-scm-server remove
        

7. 创建Cloudera Manager主机的映像。有关详细信息，请参阅虚拟化环境的文档。
8. 如果在远程主机上安装了Cloudera Manager数据库，还要创建数据库主机的映像。注意：确保在创建映像时没有客户端使用远程数据库。

实例化Cloudera Manager映像

要从虚拟机映像创建新的Cloudera Manager实例，请执行以下操作：

1. 实例化Cloudera Manager映像。
2. 如果Cloudera Manager数据库将托管在远程主机上，则还要实例化数据库主机映像。
3. 确保  cloudera-scm-server 通过在Cloudera Manager主机上运行以下命令，服务未运行：

   service cloudera-scm-server status

   如果它正在运行，请使用以下命令将其停止：

   service cloudera-scm-server stop
4. 在Cloudera Manager主机上，创建一个名为的文件 UUID 在里面/ etc /cloudera-scm-serve 目录。使用以下命令为此文件添加全局唯一标识符：
   cat /proc/sys/kernel/random/uuid > /etc/cloudera-scm-server/uuid

   此文件的存在通知Cloudera Manager在启动时重新初始化其自己的唯一标识符。

5. 运行以下命令以启动Cloudera Manager服务：

   service cloudera-scm-server start

6. 运行以下命令以启用自动重新启动 cloudera-scm-serve ：
   • RHEL6.x，CentOS 6.x和SUSE：

     chkconfig cloudera-scm-server on
     

   • RHEL 7.x / CentOS 7.xx：

     systemctl enable cloudera-scm-server.service
     

   • Ubuntu的：
     update-rc.d -f cloudera-scm-server defaults

 

创建预部署的工作主机

1. 基于支持的操作系统实例化虚拟机映像（如果使用Amazon Web Services，则为AMI）并启动虚拟机。有关详细信息，请参阅虚拟化环境的文档。
2. 从公共包存储库或 已创建的存储库下载工作者主机所需的宗地，并将其保存到临时目录。请参阅Cloudera Manager版本和下载信息。
3. 从下载包裹的同一位置下载 parcel_name .parcel.sha1 每个包裹的文件。
4. 计算并比较下载的宗地的sha1，以确保正确下载了宗地。例如：

   sha1sum KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel | awk'{print $ 1}'> KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel.sha diff KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel.sha1 KAFKA-2.0 .2-1.2.0.2.p0.5-el6.parcel.sha

5. 打开包裹的包装：
   1. 创建以下目录：
      • /opt/cloudera/parcels
      • /opt/cloudera/parcel-cache
   2. 设置刚刚创建的两个目录的所有权，以便它们由Cloudera Manager代理运行的用户名拥有。
   3. 使用以下命令设置每个目录的权限：

      sudo chmod 755 <directory>

      请注意，这些目录的内容将公开，并且可以安全地标记为世界可读的。

   4. 作为运行Cloudera Manager代理的同一用户运行，使用以下命令从临时目录中提取parcel的内容：
      tar -zxvf <parcel> -C / opt / cloudera / parcels /
   5. 从每个宗地的产品名称添加符号链接到 /opt/cloudera/parcels目录。
      例如，要链接 /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24 至 / opt / cloudera / parcels /CDH，使用以下命令：

      sudo ln -s /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24 /opt/cloudera/parcels/CDH
   6. 在启动时通过添加a来标记Cloudera Manager代理不会删除宗地 .dont_delete 标记文件（此文件没有内容）到每个子目录 /opt/cloudera/parcels目录。例如：
      touch /opt/cloudera/parcels/CDH/.dont_delete

6.验证文件是否存在：

ls -l / opt / cloudera / parcels / <parcel>

您应该看到类似于以下内容的输出：

ls -al / opt / cloudera / parcels / CDH

total 100
drwxr-xr-x  9 root root  4096 Sep 14 14:53 .
drwxr-xr-x  9 root root  4096 Sep 14 06:34 ..
drwxr-xr-x  2 root root  4096 Sep 12 06:39 bin
-rw-r--r--  1 root root     0 Sep 14 14:53 .dont_delete
drwxr-xr-x 26 root root  4096 Sep 12 05:10 etc
drwxr-xr-x  4 root root  4096 Sep 12 05:04 include
drwxr-xr-x  2 root root 69632 Sep 12 06:44 jars
drwxr-xr-x 37 root root  4096 Sep 12 06:39 lib
drwxr-xr-x  2 root root  4096 Sep 12 06:39 meta
drwxr-xr-x  5 root root  4096 Sep 12 06:39 share

1. 安装Cloudera Manager代理。如果您还没有这样做，请执行步骤1：为Cloudera Manager配置存储库。
2. 创建工作主机的映像。有关详细信息，请参阅虚拟化环境的文档。

实例化工作者主机

1. 实例化Cloudera工作者主机映像。
2. 编辑以下文件并设置 SERVER_HOST 和 服务器端口 用于引用Cloudera Manager服务器主机的属性。
3. 如有必要，请执行其他步骤以配置TLS / SSL。请参阅为Cloudera Manager配置TLS加密。
4. 启动代理服务：
   sudo service cloudera-scm-agent start