前言

bucket table(桶表)是对数据进行哈希取值，然后放到不同文件中存储

应用场景

当数据量比较大，我们需要更快的完成任务，多个map和reduce进程是唯一的选择。
但是如果输入文件是一个的话，map任务只能启动一个。
此时bucket table是个很好的选择，通过指定CLUSTERED的字段，将文件通过hash打散成多个小文件。

create table test

(id int,

 name string

)

CLUSTERED BY(id) SORTED BY(name) INTO 32 BUCKETS

ROW FORMAT DELIMITED

FIELDS TERMINATED BY ‘/t’;

执行insert前不要忘记设置

set hive.enforce.bucketing = true;

强制采用多个reduce进行输出

hive> INSERT OVERWRITE TABLE test select * from test09;

Total MapReduce jobs = 1

Launching Job 1 out of 1

Number of reduce tasks determined at compile time: 32

In order to change the average load for a reducer (in bytes):

  set hive.exec.reducers.bytes.per.reducer=<number>

In order to limit the maximum number of reducers:

  set hive.exec.reducers.max=<number>

In order to set a constant number of reducers:

  set mapred.reduce.tasks=<number>

Starting Job = job_201103070826_0018, Tracking URL = http://hadoop00:50030/jobdetails.jsp?jobid=job_201103070826_0018

Kill Command = /home/hjl/hadoop/bin/../bin/hadoop job  -Dmapred.job.tracker=hadoop00:9001 -kill job_201103070826_0018

2011-03-08 11:34:23,055 Stage-1 map = 0%,  reduce = 0%

2011-03-08 11:34:27,084 Stage-1 map = 6%,  reduce = 0%

*************************************************

Ended Job = job_201103070826_0018

Loading data to table test

5 Rows loaded to test

OK

Time taken: 175.036 seconds

hive的sunwg_test11文件夹下面出现了32个文件，而不是一个文件

[hadoop@hadoop00 ~]$ hadoop fs -ls /ticketdev/test

Found  items

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000000_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000001_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000002_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000003_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000004_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000005_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000006_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000007_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000008_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000009_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000010_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000011_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000012_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000013_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000014_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000015_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000016_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000017_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000018_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000019_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000020_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000021_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000022_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000023_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000024_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000025_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000026_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000027_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000028_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000029_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000030_0

-rw-r–r–    ticketdev hadoop           -- : /ticketdev/test/attempt_201103070826_0018_r_000031_0

文件被打散后，可以启动多个mapreduce task
当执行一些操作的时候，你会发现系统启动了32个map任务

hive中的bucket table的更多相关文章

  1. 当在hive中show&nbsp;table&nbsp;…

    当在hive中show table 时如果报以下错时 FAILED: Error in metadata: javax.jdo.JDODataStoreException: Error(s) were ...

  2. hive错误排查一：hive中执行 drop table命令卡住，删除表不成功

    起因 公司用的AWS EMR上的hive,突然不能删除表了. 经过 分析来看,估计是元数据那块出了问题.从元数据入手,元数据存在mysql的hive数据库中 直接使用hive配置文件hive-site ...

  3. Hive中的数据库(Database)和表(Table)

    在前面的文章中,介绍了可以把Hive当成一个"数据库",它也具备传统数据库的数据单元,数据库(Database/Schema)和表(Table). 本文介绍一下Hive中的数据库( ...

  4. hive中的null

    在处理流水增量表的时候,出现了一个判定的失误. select a.a1,a.a2 from ( select a.a1 ,,) as diff ,a.a2 from a lefter join b o ...

  5. hive中简单介绍分区表(partition table)——动态分区(dynamic partition)、静态分区(static partition)

    一.基本概念 hive中分区表分为:范围分区.列表分区.hash分区.混合分区等. 分区列:分区列不是表中的一个实际的字段,而是一个或者多个伪列.翻译一下是:“在表的数据文件中实际上并不保存分区列的信 ...

  6. Hive学习笔记——Hive中的分桶

    对于每一个表(table)或者分区, Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分.Hive也是针对某一列进行桶的组织.Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记 ...

  7. hive中使用rcfile

    (1)建student & student1 表:(hive 托管)create table student(id INT, age INT, name STRING)partitioned ...

  8. HIVE中join、semi join、outer join

    补充说明 left outer join where is not null与left semi join的联系与区别:两者均可实现exists in操作,不同的是,前者允许右表的字段在select或 ...

  9. Hive中的一些点

    hive严格模式 Hive中Order by和Sort by的区别是什么? hive中order by,sort by, distribute by, cluster by作用以及用法 Hadoop ...

随机推荐

  1. 【转】JavaWeb之Session的序列化和反序列化 && Session的活化和钝化

    应用场景: 1.一般来说,服务器启动后,就不会再关闭了,但是如果逼不得已需要重启,而用户会话还在进行相应的操作,这时就需要使用序列化将session信息保存起来放在硬盘,服务器重启后,又重新加载.这样 ...

  2. Java编码转换

    于Java当中,编码格式的转换一般较为麻烦,就我目前的经验来说,需要用到转码的环境主要是IO(无论是网络IO还是文件IO).转换方式主要有以下几种   方式一:String层面  String mes ...

  3. php尝试调用一个图灵机器人

    1.需要到图灵机器人的网址,去注册一下账号.网址:http://www.tuling123.com/sso-web/index.html?ReturnURL=http%3A%2F%2Fwww.tuli ...

  4. Delphi XE TStringBuilder

    function T_SunnySky_SDK.JoinItems(AParamDic: TDictionary<string, string>): string; var sb : TS ...

  5. CentOS&.NET Core初试系列

    目的 对前段时间学习.NET Core的知识进行一次入门篇的总结,希望加深印象同时帮助刚学同学少走一些坑. 目录 CentOS的安装和网卡的配置 安装.NET Core SDK和发布网站 Nginx的 ...

  6. APP和小程序哪个更合适企业

    很多企业都在纠结做APP好呢,还是做小程序好,那么我们来说说APP和小程序之间的区别,希望通过对比让您了解APP和小程序的功能,让您的企业在制作APP和小程序之间有一个选择. 一. 面向用户群 App ...

  7. webpack查缺补漏

    webpack是模块化打包工具,通过webpack,可以使得我们更加方便地组织代码.压缩.转译等等. 但是学习webpack也需要一定的成本,这里记录使用webpack许久以来一些模糊的知识点,方便以 ...

  8. 【javascript/css】关于鼠标事件onmousexxx和css伪类hover

    在运用鼠标移入移出事件时,一般有两种做法,一种是DOM事件的"onmouseover"和"onmouseout",还有一种是css的伪类":hover ...

  9. 关于Jquery事件绑定的心得

    今日在工作的时候,遇上了一些和事件绑定有关的问题无法解决,于是在网上找到了以下资料,稍加整理了下. 对于事件绑定,jQuery的 bind / unbind 大多数时候可能并不会用到,取而代之的是直接 ...

  10. Linux下ffmpeg添加Facebook/transform代码块实现将全景视频的球模型转换成立方体模型

    Facebook事实上已开始在平台中支持360度全景视频的流播,但公司对此并不满足.其工程师更是基于锥体几何学设计出了一套全新的视频编码,号称最高能将全景视频的文件大小减少80%.(VR最新突破:全景 ...