Hive集成表引擎

Hive引擎允许对HDFS Hive表执行 SELECT 查询。目前它支持如下输入格式:

-文本:只支持简单的标量列类型，除了 Binary

ORC:支持简单的标量列类型，除了char; 只支持 array 这样的复杂类型
Parquet:支持所有简单标量列类型;只支持 array 这样的复杂类型

创建表

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]

(

    name1 [type1] [ALIAS expr1],

    name2 [type2] [ALIAS expr2],

    ...

) ENGINE = Hive('thrift://host:port', 'database', 'table');

PARTITION BY expr

表的结构可以与原来的Hive表结构有所不同:

列名应该与原来的Hive表相同，但你可以使用这些列中的一些，并以任何顺序，你也可以使用一些从其他列计算的别名列。
列类型与原Hive表的列类型保持一致。
“Partition by expression”应与原Hive表保持一致，“Partition by expression”中的列应在表结构中。

引擎参数

thrift://host:port — Hive Metastore 地址
database — 远程数据库名.
table — 远程数据表名.

使用示例

如何使用HDFS文件系统的本地缓存

我们强烈建议您为远程文件系统启用本地缓存。基准测试显示，如果使用缓存，它的速度会快两倍。

在使用缓存之前，请将其添加到 config.xml

<local_cache_for_remote_fs>

    <enable>true</enable>

    <root_dir>local_cache</root_dir>

    <limit_size>559096952</limit_size>

    <bytes_read_before_flush>1048576</bytes_read_before_flush>

</local_cache_for_remote_fs>

enable: 开启后，ClickHouse将为HDFS (远程文件系统)维护本地缓存。
root_dir: 必需的。用于存储远程文件系统的本地缓存文件的根目录。
limit_size: 必需的。本地缓存文件的最大大小(单位为字节)。
bytes_read_before_flush: 从远程文件系统下载文件时，刷新到本地文件系统前的控制字节数。缺省值为1MB。

当ClickHouse为远程文件系统启用了本地缓存时，用户仍然可以选择不使用缓存，并在查询中设置 use_local_cache_for_remote_storage = 0, use_local_cache_for_remote_storage 默认为 1。

查询 ORC 输入格式的Hive 表

在 Hive 中建表

hive > CREATE TABLE `test`.`test_orc`(

  `f_tinyint` tinyint,

  `f_smallint` smallint,

  `f_int` int,

  `f_integer` int,

  `f_bigint` bigint,

  `f_float` float,

  `f_double` double,

  `f_decimal` decimal(10,0),

  `f_timestamp` timestamp,

  `f_date` date,

  `f_string` string,

  `f_varchar` varchar(100),

  `f_bool` boolean,

  `f_binary` binary,

  `f_array_int` array<int>,

  `f_array_string` array<string>,

  `f_array_float` array<float>,

  `f_array_array_int` array<array<int>>,

  `f_array_array_string` array<array<string>>,

  `f_array_array_float` array<array<float>>)

PARTITIONED BY (

  `day` string)

ROW FORMAT SERDE

  'org.apache.hadoop.hive.ql.io.orc.OrcSerde'

STORED AS INPUTFORMAT

  'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'

OUTPUTFORMAT

  'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'

LOCATION

  'hdfs://testcluster/data/hive/test.db/test_orc'

OK

Time taken: 0.51 seconds

hive > insert into test.test_orc partition(day='2021-09-18') select 1, 2, 3, 4, 5, 6.11, 7.22, 8.333, current_timestamp(), current_date(), 'hello world', 'hello world', 'hello world', true, 'hello world', array(1, 2, 3), array('hello world', 'hello world'), array(float(1.1), float(1.2)), array(array(1, 2), array(3, 4)), array(array('a', 'b'), array('c', 'd')), array(array(float(1.11), float(2.22)), array(float(3.33), float(4.44)));

OK

Time taken: 36.025 seconds

hive > select * from test.test_orc;

OK

1   2   3   4   5   6.11    7.22    8   2021-11-05 12:38:16.314 2021-11-05  hello world hello world hello world                                                                                             true    hello world [1,2,3] ["hello world","hello world"]   [1.1,1.2]   [[1,2],[3,4]]   [["a","b"],["c","d"]]   [[1.11,2.22],[3.33,4.44]]   2021-09-18

Time taken: 0.295 seconds, Fetched: 1 row(s)

在 ClickHouse 中建表

ClickHouse中的表，从上面创建的Hive表中获取数据:

CREATE TABLE test.test_orc

(

    `f_tinyint` Int8,

    `f_smallint` Int16,

    `f_int` Int32,

    `f_integer` Int32,

    `f_bigint` Int64,

    `f_float` Float32,

    `f_double` Float64,

    `f_decimal` Float64,

    `f_timestamp` DateTime,

    `f_date` Date,

    `f_string` String,

    `f_varchar` String,

    `f_bool` Bool,

    `f_binary` String,

    `f_array_int` Array(Int32),

    `f_array_string` Array(String),

    `f_array_float` Array(Float32),

    `f_array_array_int` Array(Array(Int32)),

    `f_array_array_string` Array(Array(String)),

    `f_array_array_float` Array(Array(Float32)),

    `day` String

)

ENGINE = Hive('thrift://localhost:9083', 'test', 'test_orc')

PARTITION BY day

SELECT * FROM test.test_orc settings input_format_orc_allow_missing_columns = 1\G

SELECT *

FROM test.test_orc

SETTINGS input_format_orc_allow_missing_columns = 1

Query id: c3eaffdc-78ab-43cd-96a4-4acc5b480658

Row 1:

──────

f_tinyint:            1

f_smallint:           2

f_int:                3

f_integer:            4

f_bigint:             5

f_float:              6.11

f_double:             7.22

f_decimal:            8

f_timestamp:          2021-12-04 04:00:44

f_date:               2021-12-03

f_string:             hello world

f_varchar:            hello world

f_bool:               true

f_binary:             hello world

f_array_int:          [1,2,3]

f_array_string:       ['hello world','hello world']

f_array_float:        [1.1,1.2]

f_array_array_int:    [[1,2],[3,4]]

f_array_array_string: [['a','b'],['c','d']]

f_array_array_float:  [[1.11,2.22],[3.33,4.44]]

day:                  2021-09-18

1 rows in set. Elapsed: 0.078 sec.

查询 Parquest 输入格式的Hive 表

在 Hive 中建表

hive >

CREATE TABLE `test`.`test_parquet`(

  `f_tinyint` tinyint,

  `f_smallint` smallint,

  `f_int` int,

  `f_integer` int,

  `f_bigint` bigint,

  `f_float` float,

  `f_double` double,

  `f_decimal` decimal(10,0),

  `f_timestamp` timestamp,

  `f_date` date,

  `f_string` string,

  `f_varchar` varchar(100),

  `f_char` char(100),

  `f_bool` boolean,

  `f_binary` binary,

  `f_array_int` array<int>,

  `f_array_string` array<string>,

  `f_array_float` array<float>,

  `f_array_array_int` array<array<int>>,

  `f_array_array_string` array<array<string>>,

  `f_array_array_float` array<array<float>>)

PARTITIONED BY (

  `day` string)

ROW FORMAT SERDE

  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'

STORED AS INPUTFORMAT

  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'

OUTPUTFORMAT

  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'

LOCATION

  'hdfs://testcluster/data/hive/test.db/test_parquet'

OK

Time taken: 0.51 seconds

hive >  insert into test.test_parquet partition(day='2021-09-18') select 1, 2, 3, 4, 5, 6.11, 7.22, 8.333, current_timestamp(), current_date(), 'hello world', 'hello world', 'hello world', true, 'hello world', array(1, 2, 3), array('hello world', 'hello world'), array(float(1.1), float(1.2)), array(array(1, 2), array(3, 4)), array(array('a', 'b'), array('c', 'd')), array(array(float(1.11), float(2.22)), array(float(3.33), float(4.44)));

OK

Time taken: 36.025 seconds

hive > select * from test.test_parquet;

OK

1   2   3   4   5   6.11    7.22    8   2021-12-14 17:54:56.743 2021-12-14  hello world hello world hello world                                                                                             true    hello world [1,2,3] ["hello world","hello world"]   [1.1,1.2]   [[1,2],[3,4]]   [["a","b"],["c","d"]]   [[1.11,2.22],[3.33,4.44]]   2021-09-18

Time taken: 0.766 seconds, Fetched: 1 row(s)

在 ClickHouse 中建表

ClickHouse 中的表，从上面创建的Hive表中获取数据:

CREATE TABLE test.test_parquet

(

    `f_tinyint` Int8,

    `f_smallint` Int16,

    `f_int` Int32,

    `f_integer` Int32,

    `f_bigint` Int64,

    `f_float` Float32,

    `f_double` Float64,

    `f_decimal` Float64,

    `f_timestamp` DateTime,

    `f_date` Date,

    `f_string` String,

    `f_varchar` String,

    `f_char` String,

    `f_bool` Bool,

    `f_binary` String,

    `f_array_int` Array(Int32),

    `f_array_string` Array(String),

    `f_array_float` Array(Float32),

    `f_array_array_int` Array(Array(Int32)),

    `f_array_array_string` Array(Array(String)),

    `f_array_array_float` Array(Array(Float32)),

    `day` String

)

ENGINE = Hive('thrift://localhost:9083', 'test', 'test_parquet')

PARTITION BY day

SELECT * FROM test.test_parquet settings input_format_parquet_allow_missing_columns = 1\G

SELECT *

FROM test_parquet

SETTINGS input_format_parquet_allow_missing_columns = 1

Query id: 4e35cf02-c7b2-430d-9b81-16f438e5fca9

Row 1:

──────

f_tinyint:            1

f_smallint:           2

f_int:                3

f_integer:            4

f_bigint:             5

f_float:              6.11

f_double:             7.22

f_decimal:            8

f_timestamp:          2021-12-14 17:54:56

f_date:               2021-12-14

f_string:             hello world

f_varchar:            hello world

f_char:               hello world

f_bool:               true

f_binary:             hello world

f_array_int:          [1,2,3]

f_array_string:       ['hello world','hello world']

f_array_float:        [1.1,1.2]

f_array_array_int:    [[1,2],[3,4]]

f_array_array_string: [['a','b'],['c','d']]

f_array_array_float:  [[1.11,2.22],[3.33,4.44]]

day:                  2021-09-18

1 rows in set. Elapsed: 0.357 sec.

查询文本输入格式的Hive表

在Hive 中建表

hive >

CREATE TABLE `test`.`test_text`(

  `f_tinyint` tinyint,

  `f_smallint` smallint,

  `f_int` int,

  `f_integer` int,

  `f_bigint` bigint,

  `f_float` float,

  `f_double` double,

  `f_decimal` decimal(10,0),

  `f_timestamp` timestamp,

  `f_date` date,

  `f_string` string,

  `f_varchar` varchar(100),

  `f_char` char(100),

  `f_bool` boolean,

  `f_binary` binary,

  `f_array_int` array<int>,

  `f_array_string` array<string>,

  `f_array_float` array<float>,

  `f_array_array_int` array<array<int>>,

  `f_array_array_string` array<array<string>>,

  `f_array_array_float` array<array<float>>)

PARTITIONED BY (

  `day` string)

ROW FORMAT SERDE

  'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'

STORED AS INPUTFORMAT

  'org.apache.hadoop.mapred.TextInputFormat'

OUTPUTFORMAT

  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

LOCATION

  'hdfs://testcluster/data/hive/test.db/test_text'

Time taken: 0.1 seconds, Fetched: 34 row(s)

hive >  insert into test.test_text partition(day='2021-09-18') select 1, 2, 3, 4, 5, 6.11, 7.22, 8.333, current_timestamp(), current_date(), 'hello world', 'hello world', 'hello world', true, 'hello world', array(1, 2, 3), array('hello world', 'hello world'), array(float(1.1), float(1.2)), array(array(1, 2), array(3, 4)), array(array('a', 'b'), array('c', 'd')), array(array(float(1.11), float(2.22)), array(float(3.33), float(4.44)));

OK

Time taken: 36.025 seconds

hive > select * from test.test_text;

OK

1   2   3   4   5   6.11    7.22    8   2021-12-14 18:11:17.239 2021-12-14  hello world hello world hello world                                                                                             true    hello world [1,2,3] ["hello world","hello world"]   [1.1,1.2]   [[1,2],[3,4]]   [["a","b"],["c","d"]]   [[1.11,2.22],[3.33,4.44]]   2021-09-18

Time taken: 0.624 seconds, Fetched: 1 row(s)

在 ClickHouse 中建表

ClickHouse中的表，从上面创建的Hive表中获取数据:

CREATE TABLE test.test_text

(

    `f_tinyint` Int8,

    `f_smallint` Int16,

    `f_int` Int32,

    `f_integer` Int32,

    `f_bigint` Int64,

    `f_float` Float32,

    `f_double` Float64,

    `f_decimal` Float64,

    `f_timestamp` DateTime,

    `f_date` Date,

    `f_string` String,

    `f_varchar` String,

    `f_char` String,

    `f_bool` Bool,

    `day` String

)

ENGINE = Hive('thrift://localhost:9083', 'test', 'test_text')

PARTITION BY day

SELECT * FROM test.test_text settings input_format_skip_unknown_fields = 1, input_format_with_names_use_header = 1, date_time_input_format = 'best_effort'\G

SELECT *

FROM test.test_text

SETTINGS input_format_skip_unknown_fields = 1, input_format_with_names_use_header = 1, date_time_input_format = 'best_effort'

Query id: 55b79d35-56de-45b9-8be6-57282fbf1f44

Row 1:

──────

f_tinyint:   1

f_smallint:  2

f_int:       3

f_integer:   4

f_bigint:    5

f_float:     6.11

f_double:    7.22

f_decimal:   8

f_timestamp: 2021-12-14 18:11:17

f_date:      2021-12-14

f_string:    hello world

f_varchar:   hello world

f_char:      hello world

f_bool:      true

day:         2021-09-18

资料分享

ClickHouse经典中文文档分享

参考文章

ClickHouse(19)ClickHouse集成Hive表引擎详细解析的更多相关文章

ClickHouse(10)ClickHouse合并树MergeTree家族表引擎之ReplacingMergeTree详细解析
目录建表语法数据处理策略资料分享参考文章 MergeTree拥有主键,但是它的主键却没有唯一键的约束.这意味着即便多行数据的主键相同,它们还是能够被正常写入.在某些使用场合,用户并不希望数据表 ...
ClickHouse(11)ClickHouse合并树MergeTree家族表引擎之SummingMergeTree详细解析
目录建表语法数据处理汇总的通用规则 AggregateFunction 列中的汇总嵌套结构数据的处理资料分享参考文章 SummingMergeTree引擎继承自MergeTree.区别在于 ...
ClickHouse(12)ClickHouse合并树MergeTree家族表引擎之AggregatingMergeTree详细解析
目录建表语法查询和插入数据数据处理逻辑 ClickHouse相关资料分享 AggregatingMergeTree引擎继承自 MergeTree,并改变了数据片段的合并逻辑.ClickHouse ...
ClickHouse(13)ClickHouse合并树MergeTree家族表引擎之CollapsingMergeTree详细解析
目录建表折叠数据算法资料分享参考文章该引擎继承于MergeTree,并在数据块合并算法中添加了折叠行的逻辑.CollapsingMergeTree会异步的删除(折叠)这些除了特定列Sig ...
ClickHouse入门：表引擎-HDFS
前言插件及服务器版本服务器:ubuntu 16.04Hadoop:2.6ClickHouse:20.9.3.45 文章目录简介引擎配置 HDFS表引擎的两种使用形式引用简介 ClickHous ...
Clickhouse表引擎之MergeTree
1.概述在Clickhouse中有多种表引擎,不同的表引擎拥有不同的功能,它直接决定了数据如何读写.是否能够并发读写.是否支持索引.数据是否可备份等等.本篇博客笔者将为大家介绍Clickhouse中 ...
UniqueMergeTree：支持实时更新删除的 ClickHouse 表引擎
UniqueMergeTree 开发的业务背景首先,我们看一下哪些场景需要用到实时更新. 我们总结了三类场景: 第一类是业务需要对它的交易类数据进行实时分析,需要把数据流同步到 ClickHouse ...
Clickhouse表引擎探究-ReplacingMergeTree
作者:耿宏宇 1 表引擎简述 1.1 官方描述 MergeTree 系列的引擎被设计用于插入极大量的数据到一张表当中.数据可以以数据片段的形式一个接着一个的快速写入,数据片段在后台按照一定的规则进行合 ...
ClickHouse(07)ClickHouse数据库引擎解析
目录 Atomic 建表语句特性 Table UUID RENAME TABLES DROP/DETACH TABLES EXCHANGE TABLES ReplicatedMergeTree in ...
clickhouse 19.14.m.n简单测试
ClickHouse is a column-oriented database management system (DBMS) for online analytical processing o ...

随机推荐

「codeforces - 868F」Yet Another Minimization Problem
link. 值域分治优化决策单调性 DP 的 trick.朴素做法 trivial,不赘述. 考虑求取一个区间 \([l,r]\) 的 DP 值.先搞定在 \(m=\lfloor\frac{l+r}{ ...
记一次 .NET 某仪器测量系统 CPU爆高分析
一:背景 1. 讲故事最近也挺奇怪,看到了两起 CPU 爆高的案例,且诱因也是一致的,觉得有一些代表性,合并分享出来帮助大家来避坑吧,闲话不多说,直接上 windbg 分析. 二:WinDbg 分析 ...
Docker Swarm + Harbor + Portainer 打造高可用，高伸缩，集群自动化部署，更新。
Docker Swarm是Docker官方自带的容器编排工具,Swarm,Compose,Machine合称Docker三剑客.Docker Swarm对于中小型应用来说,还是比较方便,灵活,当然K8 ...
9.1 运用API创建多线程
在Windows平台下创建多线程有两种方式,读者可以使用CreateThread函数,或者使用beginthreadex函数均可,两者虽然都可以用于创建多线程环境,但还是存在一些差异的,首先Creat ...
C#归并排序算法
前言归并排序是一种常见的排序算法,它采用分治法的思想,在排序过程中不断将待排序序列分割成更小的子序列,直到每个子序列中只剩下一个元素,然后将这些子序列两两合并并排序,最终得到一个有序的序列. 归并排 ...
造轮子之asp.net core identity
在前面我们完成了应用最基础的功能支持以及数据库配置,接下来就是我们的用户角色登录等功能了,在asp.net core中原生Identity可以让我们快速完成这个功能的开发,在.NET8中,asp.ne ...
Python+SVM
# !/usr/bin/env python # encoding: utf-8 # SVM算法支持向量机 from sklearn import svm import numpy as np fr ...
Springboot 加密方案探讨
背景 toB 的本地化 java 应用程序,通常是部署在客户机器上,为了保护知识产权,我们需要将核心代码(例如 Lience,Billing,Pay 等)进行加密或混淆,防止使用 jadx 等工具轻易 ...
Kafka的零拷贝技术Zero-Copy
传统的拷贝过程流程步骤: (1)操作系统将数据从磁盘文件中读取到内核空间的页面缓存: (2)应用程序将数据从内核空间读入用户空间缓冲区: (3)应用程序将读到数据写回内核空间并放入socket缓冲区 ...
数据结构与算法(LeetCode)第一节：认识复杂度，对数器，二分法与异或运算
一.认识复杂度 1.评估算法优劣的核心指标: 时间复杂度:当完成了表达式的建立,只要把最高阶项留下即可.低阶项都去掉,高阶项的系数也去掉,记为O(去掉系数的高阶项): 时间复杂度是衡量算法流程的复 ...

ClickHouse(19)ClickHouse集成Hive表引擎详细解析

Hive集成表引擎

创建表

使用示例

如何使用HDFS文件系统的本地缓存

查询 ORC 输入格式的Hive 表

在 Hive 中建表

在 ClickHouse 中建表

查询 Parquest 输入格式的Hive 表

在 Hive 中建表

在 ClickHouse 中建表

查询文本输入格式的Hive表

在Hive 中建表

在 ClickHouse 中建表

资料分享

参考文章

ClickHouse(19)ClickHouse集成Hive表引擎详细解析的更多相关文章

随机推荐

热门专题