Hadoop组件构成
Hadoop平台重要组件:
1、ZooKeeper
- 一个分布式应用程序协调服务。
- 包含简单的原语集、实现统一命名服务、配置管理、分布式锁服务、集群管理等功能。
2、Cascading
- 架构在 Hadoop 上的 API,用来创建复杂和容错数据处理工作流。
- 抽象了集群拓扑结构和配置来快速开发分布式应用。
3、HBase
- HBase 是一个 Column-based 的 NOSQL 数据库。
- 基于 HDFS 进行文件存储,基于 Zookeeper 进行 failover 和调度。
4、Hive
- 基于 Hadoop 的数据仓库平台,实现类 SQL 操作。
- 易于进行 ETL 操作。
5、Sqoop
- 将 Hadoop 与关系型数据库中的数据相互转移的工具。
- 实现 HDFS 与 DBMS 间数据互迁移。
6、Pig
- 基于 Hadoop 的大规模数据分析工具,提供类 SQL 的 Pig Latin 语言,进行数据处理。
- 实现 SQL 任务和 MR 运算转换。
7、Mahout
- 开源的、可扩展的机器学习算法库。
- 基于 Hadoop 和 MapReduce 运行,具有良好的扩展性。
8、itellicus
- 具有先进 UI 报表功能的 BI 工具。
- 支持多种数据源:Hadoop,NOSQL,MPP,RDBMS。
9、Avro
- 由 Hadoop 的创始人 Doug Cutting 开发,是一个数据序列化系统,设计用于支持大批量数据交换的应用。
- 支持二进制序列化方式。
10、ChuKwa
- 用于监控大型分布式系统的数据收集系统,基于 Hadoop 框架。
- 用于展示、监控和分析已收集的数据。
Hadoop组件构成的更多相关文章
- [hadoop in Action] 第3章 Hadoop组件
管理HDFS中的文件 分析MapReduce框架中的组件 读写输入输出数据 1.HDFS文件操作 [命令行方式] Hadoop的文件命令采取的形式为: hadoop fs -cmd < ...
- Hadoop组件之-HDFS(HA实现细节)
NameNode 高可用整体架构概述 在 Hadoop 1.0 时代,Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题,这其中以 NameNode ...
- Hadoop组件
---------Hive--------------------------zooKeeper-------------------------------kafka---------------- ...
- hadoop组件启动和关闭命令
一.启动相关组件之前 一般安装完hadoop之后需要格式化一遍hdfs: hdfs namenode -format 然后再进行其他组件的启动,hadoop相关组件都是用位于...hadoop/sbi ...
- hadoop组件及其作用
1.hadoop有三个主要的核心组件:HDFS(分布式文件存储).MAPREDUCE(分布式的计算).YARN(资源调度),现在云计算包括大数据和虚拟化进行支撑. 在HADOOP(hdfs.MAPRE ...
- 搭建maven开发环境测试Hadoop组件HDFS文件系统的一些命令
1.PC已经安装Eclipse Software,测试平台windows10及Centos6.8虚拟机 2.新建maven project 3.打开pom.xml,maven工程项目的pom文件加载以 ...
- hadoop组件概念理解
一.HADOOP 二.HIVE 三.SQOOP 1.来由和作用 sqoop由一些封装好的MR程序的jar包构成,后演变成框架,但sqoop只有map任务没有reduce任务. 用于 hdfs.hive ...
- 10、Hadoop组件启动方式和SSH无密码登陆
启动方式 一.各个组件逐一启动 hdfs: hadoop-daemon.sh start|stop namenode|datanode|secondnode yarn: yarn-demon.sh s ...
- Hadoop组件详解(随缘摸虾)
1.1. Hadoop组成: Hadoop = hdfs(存储) + mapreduce(计算) + yarn(资源协调) + common(工具包) + ozone(对象存储) + submarin ...
随机推荐
- ios 单例设计模式
单例模式的意思就是只有一个实例.单例模式确保某一个类只有一个实例,而且自行实例化并向整个系统提供这个实例.这个类称为单例类.单例可用性非常高,用于登录用户管理等可供全局调用. + (AccountMa ...
- css 一些灵动性的小方法
CSS: 1.当鼠标放到一个图片上的时候,他会给你显示一些图片的信息或者是一些其他的信息. <!DOCTYPE html> <html lang="en"> ...
- SQL模仿Split 功能
--方法0:动态SQL法 declare @s varchar(100),@sql varchar(1000) set @s='1,2,3,4,5,6,7,8,9,10' set @sql='sele ...
- POST在发送数据的时候使用的是HTTP命令
防止SQL注入 SQL(结构化查询语言)是基于美国国家标准学会(ANSI)标准,并作为共同的语言与数据库通信.每个数据库系统增加了一些专有功能到基本的ANSI SQL. SQL注入是一门将制作好的SQ ...
- java 操作Excel表 创建 查看 修改
需要用到jxl.jar包 修改有两种方法一种是jxl的 另一种需要apache.poi包 package excelChuLi; import java.io.File; import java. ...
- Spring的IOC原理(转载)
在网上看到一篇文章,感觉写得挺不错的,转载一下,本文转载自:http://www.cnblogs.com/xdp-gacl/p/3707631.html 一. IoC理论的背景 我们都知道,在采用面向 ...
- jQuery $ 第二个参数的用法
jQuery(selector, [context]),相当于 $(context).find(selector) 或者 context.find(selector) $('div').each(fu ...
- JavaS:网页中的显示和隐藏
<!DOCTYPE HTML><html><head><meta http-equiv="Content-Type" content=&q ...
- 升级到macOS 10.12 mysqlb报错ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)
系统升级到macOS 10.12后启动mysql后,在终端输入mysql 报错ERROR 1045 (28000): Access denied for user 'root'@'localhost' ...
- BT客户端实现 Peer协议设计
与peer建立tcp连接后,首先发送handshake消息进行握手 handshake消息格式如下: 一个字节0x19 + 一个字符串'BitTorrent protocol' + 8 byte 保留 ...