概念介绍 CDH概览 CDH是Apache Hadoop和相关项目的最完整.最受测试和最流行的发行版.CDH提供Hadoop的核心元素-可伸缩存储和分布式计算-以及基于web的用户界面和重要的企业功能.CDH是Apache许可的开放源码,是唯一提供统一批处理.交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案. CDH 提供以下特性: 灵活性:存储任何类型的数据并使用各种不同的计算框架进行操作,包括批处理.交互式SQL.免费文本搜索.机器学习和统计计算. 集成:在一个完整的Ha

http://archive.cloudera.com/cdh5/cdh/5/加要下载的cdh版本插件 例如: http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.7.5.tar.gz

目录 一.概念介绍 1.CDH 概览 2.Cloudera Manager 概览 二.环境准备 1.软件版本选择 2.节点准备(四个节点) 3.配置主机名和hosts解析(所有节点) 4.关闭防火墙 5.关闭SELinux 6.添加定时任务 7.禁用透明大页面压缩 8.优化交换分区 三.安装 CM 和 CDH 1.配置 Cloudera Manager 仓库(所有节点) 2.配置 JDK (所有节点) 3.安装 CM Server 和 Agent 4.安装数据库(namenode01) 4.安装

1.要求和支持的版本 (PS:我使用的环境,都用加粗标识了.) 1.1 支持的操作系统版本 操作系统 版本 RHEL/CentOS/OL with RHCK kernel 7.6, 7.5, 7.4, 7.3, 7.2,6.10, 6.9 , 6.8 Oracle Linux (OL) 7.4, 7.3, 7.2 (UEK default) SUSE Linux Enterprise Server SLES 12 SP4, 12 SP3, 12 SP2 Ubuntu Ubuntu 16.04 L

最近在研究数据挖掘相关的东西,在本地 Mac 环境搭建了一套伪分布式的 hadoop 开发环境,采用CDH发行版本,省时省心. 参考来源 How-to: Install CDH on Mac OSX 10.9 Mavericks 官网这篇文章有的地方格式不对,部分链接也失效,运行时还会有一些问题,所以这里重新记录如下. 安装 JDK JDK 1.8 下载地址 安装完成后路径应该是 /Library/Java/JavaVirtualMachines/jdk1.8.x_xx.jdk/Contents

安装前准备 主机和系统 Host OS Memory IP bigdata001-dev Cent OS 7.4 x64 32G 192.168.1.1 bigdata002-dev Cent OS 7.4 x64 32G 192.168.1.2 bigdata003-dev Cent OS 7.4 x64 15G 192.168.1.3 bigdata004-dev Cent OS 7.4 x64 32 192.168.1.4 安装包下载 下载 cloudera-manager.repo 文件

目录 1. 问题描述 最近在使用Mahout里的推荐算法进行实验,由于业务需求,需要修改Mahout源码,将原本输出到HDFS上的结果输出到HBase中.由于Mahout发布的源码都是Maven项目,所以在对项目进行编译打包时遇到了一些问题,在此文章中进行记录总结. 2. Mahout源码下载 目前,Mahout最新版本已经更新到0.13,从基于Hadoop平台迁移到了Spark,从Mahout官网可以了解其发展历程和框架特性. 官网地址:http://mahout.apache.org/ Ma

Kudu 导读 什么是 Kudu 操作 Kudu 如何设计 Kudu 的表 Table of Contents 1. 什么是 Kudu 1.1. Kudu 的应用场景 1.2. Kudu 和其它存储工具的对比 1.3. Kudu 的设计和结构 2. Kudu 安装和操作 2.1. 准备初始环境 2.2. 配置 Yum 源 2.. 使用 Java 操作 Kudu 2.. 使用 Spark 操作 Kudu 4. Kudu 表和模式 1. 什么是 Kudu 导读 Kudu 的应用场景是什么? Kudu

目录 01 准备工作 02 环境配置 03 CDH安装 报错 01 准备工作 官网地址下载页面:https://www.cloudera.com/downloads/cdh.html,现在下载好像需要注册一个账号,下面的链接进入后需要登录,也可以自行在上面的下载页面找. CDH 6.2.0,下载地址:https://archive.cloudera.com/cdh6/6.2.0/parcels/ CM 6.2.0,下载地址:https://archive.cloudera.com/cm6/6.2

cloudera分为两个部分:CDH和CM.CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera公司发布的Hadoop版本,封装了Apache Hadoop,提供Hadoop所有的服务,包括HDFS,YARN,MapReduce以及各种相关的components:HBase, Hive, ZooKeeper,Kafka等.CM是cloudera manager的简称,是CDH的管理平台,主要包括CM server, CM agent.通过CM可以

libhadoop.so其实是后面安装impala时要用到 此处配置环境变啦时注意 下 export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$HADOOP_LIB/native/libhadoop.so 版本及准备 我部署的是hadoop-2.0.0-cdh4.2.0.tar.gz,下载地址为http://archive.cloudera.com/cdh4/cdh/4/hadoop-2.0.0-cdh4.2.0.ta

说在前面的话   重新试多几次.编译过程中会出现下载某个包的时间太久,这是由于连接网站的过程中会出现假死,按ctrl+c,重新运行编译命令. 如果出现缺少了某个文件的情况,则要先清理maven(使用命令 mvn clean) 再重新编译.    前言 Spark可以通过SBT和Maven两种方式进行编译,再通过make-distribution.sh脚本生成部署包. SBT编译需要安装git工具,而Maven安装则需要maven工具,两种方式均需要在联网 下进行.  尽管maven是Spark官

一.虚拟机的安装和网络配置. 1.虚拟机安装. 2.安装CentOS-6.5 64位版本. 桥接模式: Master: 内存:3G: 硬盘容量40G: 4核: Slave: 内存2G: 硬盘容量30G: 2核: 3.网络配置(master,slave) 1)进入root账号 su - root 输入密码: vi /etc/sysconfig/network 2)关闭防火墙 vi /etc/sysconfig/selinux #SELinux=disable Service iptables st

序言 本文集群搭建为三台机器,cdh版本为5.13.0,以下是安装过程中所用到的软件包等,可以自行下载.一.前期准备1.安装环境 系统:centos7.5/最小安装版本/64位 内存:主节点 --> 32G/从节点 --> 16G 三台机器组成小集群(物理机) cdh01 cdh02 cdh03 需要下载的安装包 cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz CDH相关(注意下载相应系统的安装包) CDH-5.13.0-1.cdh5.13.0.

使用HDFS API的方式来操作HDFS文件系统 IDEA Java 使用Maven来管理项目 先打开IDEA,New Project 创建GAV然后next 默认使用的有idea内置的Maven,可以使用默认的也可以使用自己安装的Maven(看个人喜好Override) 然后next   finish 然后就进入了编译器页面,编译器自己在创建,有一些依赖在自动下载,需要等!!!(我的网速等了我半个多小时,卡到发指) 解决IDEA创建Maven项目卡到发指===>https://www.cnbl

课程整套CDH相关的软件下载地址:http://archive.cloudera.com/cdh5/cdh/5/ cdh-5.7.0 生产或者测试环境选择对应CDH版本时,一定要采用尾号是一样的版本   http://hadoop.apache.org/ 对于Apache的顶级项目来说,projectname.apache.org Hadoop: hadoop.apache.org Hive: hive.apache.org Spark: spark.apache.org HBase: hbas

系统:CentOS6.5JDK:1.8.0_144Flume:flume-ng-1.6.0-cdh5.12.0 一.什么是Flume flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用.Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera.但随着 FLume 功能的扩展,Flume OG 代码工程臃肿.核心组件设计不合理.核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后一个发

环境:三台虚拟机Host0,Host1,Host2 Host0:192.168.10.2 Host1:  192.168.10.3 Host2:  192.168.10.4 在三台虚拟机上配置zookeeper,具体配置详见CentOS中配置CDH版本的ZooKeeper 下载kafka:http://kafka.apache.org/downloads.html 我的kafka版本是kafka_2.10-0.8.2.0 在各个kafka节点上解压kafka&进入kafka目录 [root@Ho

HUE: Hadoop User Experience 官网地址:http://gethue.com/ Hue官网无法下载,超时. 使用CDH版本安装. 下载地址: http://archive.cloudera.com/cdh5/cdh/5/ 说明文档: http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0/ 安装依赖包 参考:https://github.com/cloudera/hue 我的系统是CentOS,安装CentOS依

由于spark-1.3作为一个里程碑式的发布, 加入众多的功能特性,所以,有必要好好的研究一把,spark-1.3需要scala-2.10.x的版本支持,而系统上默认的scala的版本为2.9,需要进行升级, 可以参考ubuntu 安装 2.10.x版本的scala. 配置好scala的环境后,下载spark的cdh版本, 点我下载. 下载好后,直接解压,然后在bin目录直接运行./spark-shell 即可: 日志如下: zhangchao3@hadoop01:~/spark-evn/spa

相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础软件的安装 CentOS6安装各种大数据软件 第四章:Hadoop分布式集群配置 CentOS6安装各种大数据软件 第五章:Kafka集群的配置 CentOS6安装各种大数据软件 第六章:HBase分布式集群的配置 CentOS6安装各种大数据软件 第七章:Flume安装与配置 CentOS6安装各