安装Cloudera manager agent步骤详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客主要是针对:https://www.cnblogs.com/yinzhengjie/p/9734108.html 笔记中关于Cloudera manager agent端的安装步骤详解.在安装过程中遇到了几个问题,以及解决这些问题的详细步骤都有记录. 一.正确的安装方式 1>.登录安装界面 2>.同意条款并点击继续 3>.选择免费版本的CDH 4>.点

基于yum的方式安装Cloudera Manager Agent(使用Mysql 8.0版本) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.  一.选择CDH版本 1>.确认Cloudera Manager的版本 我们知道,部署的CM版本是5.16.1,大家也可以用更新版本,部署方法都一样,详情请参考:https://www.cnblogs.com/yinzhengjie/articles/10384065.html. 2>.确认要安装的CDH的版本 Cloudera Ma

关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机.Hadoop.Hive.Spark等服务的安装配置管理做了极大简化. 系统环

关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机.Hadoop.Hive.Spark等服务的安装配置管理做了极大简化. 环境说

一.角色分配 Cloudera Manager Agent:向server端报告当前机器服务状态. Cloudera Manager Server:接受agent角色报告服务状态,以视图界面展现,方便管理员查看.   master slave1 slave2 Server Y     Agent Y Y Y 二.准备CDH安装包 本文档采用离线安装方式,所需安装包上传到/root/soft/cdh/目录下 创建目录(所以节点都要执行) [root@master ~]# mkdir /root/s

关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Cloudera 完全开源的Hadoop 分布式系统架构,为了满足企业的需求而特别构建的系统.即一个开源的企业级分布式存储系统. CDH是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. hadoop是一个开源项目,所以很多公司在这个基础进行商业化,C

关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机.Hadoop.Hive.Spark等服务的安装配置管理做了极大简化. 系统环

一.安装过程 1.1 登录 1.2 接受许可协议 1.3 选择免费版本 1.4 选择下一步 1.5 选择当前管理的主机 1.6 选择使用Parcel安装,选择CDH版本,点击继续 1.7 等待安装 此处安装需要等待一段时间,请耐心等待,安装过程可能需要30分钟时间,这和物理机器的磁盘读写速度和机器性能有关,如果中断请继续之前的步骤重新操作,下图是安装成功界面 1.8 集群检测 检测全部通过 1.9 选择自定义服务,选择要安装的组件 1.10 分配角色 1.11 数据库设置 选择对应的数据库,点击

一.安装CentOS 6.5 x64 具体安装过程自行百度 1.1 修改IP地址 [root@master ~]# vi /etc/sysconfig/network DEVICE=eth0 TYPE=Ethernet ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static IPADDR=192.168.1.181 NETMASK=255.255.255.0 GATEWAY=192.168.1.1 删除70-persistent-net.rules [root

一.卸载CentOS自带的MySQL 1.1 查看之前是否安装过mysql [root@master mysql]# rpm -qa|grep -i mysql mysql-libs--.el6.x86_64 [root@master mysql]# 1.2 卸载自带的mysql [root@master mysql]# rpm -e --nodeps mysql-libs--.el6.x86_64 1.3 删除老版本 mysql 的开发头文件和库 [root@master mysql]# rm

一.方案选择 通过Lvs+keepalived+mysql(主主同步)实现数据库层面的高可用方案,需要两台服务器作为数据库提供业务数据的存储,应用服务器通过vip访问数据库,允许同一时间内一台数据库服务器宕机. 可以参考https://www.cnblogs.com/wajika/p/6347430.html https://www.cnblogs.com/guojg/p/6877654.html

一.查看文件系统 [root@master ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/vg_master-lv_root 50G .2G 46G % / tmpfs 16G 16G % /dev/shm /dev/sda1 485M 39M 421M % /boot /dev/mapper/vg_master-lv_home 231G 188M 219G % /home 由于我的HDFS存储目录实在根目录”/

CDH构建大数据平台-使用自建的镜像地址安装Cloudera Manager 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.   一.搭建CM私有仓库 详情请参考我的笔记: https://www.cnblogs.com/yinzhengjie/p/10412455.html. 1>.安装web服务器并启动  [root@node105 ~]# yum -y install httpd Loaded plugins: fastestmirror Loading mirror s

因为项目开发需要要在本地组建一个Hadoop/Spark集群,除了Hadoop/Spark还要同时安装多个相关的组件,如果一个个组件安装配置,对于一个由多台服务器组成的集群来说,工作量是巨大的. 所以需要借助Cloudera来安装,因为它本身集成了丰富的数据分析处理相关的组件和管理工具,而且还能帮助简化集群安装和配置. Cloudera提供多种安装方式,但公司IT政策不允许本地集群接入互联网,所以我们只能选择离线安装这种方式. 安装前准备 主机和系统 Host OS Memory IP Hado

Cloudera Manager Cloudera Manager 分为两个部分:CDH和CM. CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera公司发布的Hadoop版本,封装了Apache Hadoop,提供Hadoop所有的服务,包括HDFS,YARN,MapReduce以及各种相关的components:HBase, Hive, ZooKeeper,Kafka等. CM是cloudera manager的简称,是CDH的管理平台,主要

Cloudera Manager Server和Agent所有后发先至.也能够进行CDH5的安装和配置. 然后,主节点可以通过浏览器访问7180port测试(因为CM Server需要花时间来启动,可能要等待一会才干訪问),默认的username和password均为admin. 制作本地源 先下载CDH到本地http://archive-primary.cloudera.com/cdh5/parcels/5.3.4/, 这里须要下载三样东西. 首先是与自己系统版本号相相应的parcel包,然后

第一次安装出现了各种问题,尤其是对于不是太熟悉linux系统的更是头疼不已呀!特此记录一下,希望能够让小伙伴们少走点弯路. 1.给机器添加路由 (根据自己的机器情况,可以忽略)   route add -net 172.17.2.0 netmask 255.255.255.0 gw 192.168.0.1 (windows)   route /p add 172.17.2.0 mask 255.255.255.0 192.168.0.1(linux)   2.集群主机配置 2.1 .配置静态 I

文章转载:http://www.aboutyun.com/thread-14024-1-1.html 前期准备工作(系统环境搭建) 操作系统:CentOS 6.5 x64 CPU*2 64G 300G*4 所需软件  cloudera-manager-el6-cm5.3.4_x86_64.tar.gz.mysql-connector-java-5.1.25-bin.jar 1.设置静态IP地址 vi /etc/sysconfig/network-scripts/ifcfg-eth0 由于我重装系

基于yum的方式安装Cloudera Manager Server(使用Mysql 8.0版本) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.安装和配置元数据库 1>.部署MySQL数据库 我们应启动的5台服务器中选出来2台服务做MySQL主从同步.我们把mysql服务安装在node101.yinzhengjie.org.cn上.至于MySQL的部署方式并不是本片博客的重点,不过可参考我之前的笔记:使用二进制安装包的方式单机部署MySQL8.0.13. 由于这个元数据库

一.机子分配 注意,本安装教程是在真机上进行,而非虚拟机.另,此次搭建主要的目的是搭建测试环境,让Hadoop各组件能够运作起来即可,完成搭建后,将用小数据量进行相关数据的计算与测试.线上环境将会使用阿里云主机. 以下是四台真机配置: 机子内网IP地址 主机名 内存大小 磁盘大小 CPU 192.168.0.29 bigdata01(主) 8GB 2T 1个物理CPU,4核 192.168.0.133 bigdata02(从) 8GB 500GB 1个物理CPU,2核 192.168.0.135