Doris数据库使用

1、表结构设置

【1】建表时指定副本数量：relication_num

【2】排序键

明细模型：DUPLICATE KEY(site_id, city_code)

聚合模型：AGGREGATE KEY(site_id, city_code)

更新模型：UNIQUE KEY(site_id, city_code)

BloomFilter索引：PROPERTIES ( "bloom_filter_columns"="k1,k2,k3" )

【3】分桶配置

DISTRIBUTED BY HASH(site_id) BUCKETS 10

【4】查看Docker容器IP

docker inspect --format='{{.NetworkSettings.IPAddress}}' doris-be1

【5】表配置

PROPERTIES (
"replication_num" = "1",    //副本数
"colocate_with" = "group1", 
"in_memory" = "false",
"storage_format" = "DEFAULT"
);

【6】Olap表

ENGINE=OLAP

 

2、基础操作

【1】建表

明细模型
CREATE TABLE site_access_duplicate
(
site_id INT DEFAULT '10',
city_code SMALLINT,
user_name VARCHAR(32) DEFAULT '',
pv BIGINT DEFAULT '0'
)
DUPLICATE KEY(site_id, city_code)
DISTRIBUTED BY HASH(site_id) BUCKETS 10;
聚合模型
CREATE TABLE site_access_aggregate
(
site_id INT DEFAULT '10',
city_code SMALLINT,
pv BIGINT SUM DEFAULT '0'
)
AGGREGATE KEY(site_id, city_code)
DISTRIBUTED BY HASH(site_id) BUCKETS 10;
更新模型
CREATE TABLE site_access_unique
(
site_id INT DEFAULT '10',
city_code SMALLINT,
user_name VARCHAR(32) DEFAULT '',
pv BIGINT DEFAULT '0'
)
UNIQUE KEY(site_id, city_code)
DISTRIBUTED BY HASH(site_id) BUCKETS 10;

【2】明细模型插入测试数据

INSERT INTO site_access_duplicate
VALUES(10010,10,"wangshida",1),
(10011,10,"xiaohong",2),
(10012,10,"xiaoming",15)

【3】更新数据（不支持），通过更新模型插入数据方式实现

【4】删除数据（支持，比较慢）

delete from site_access_duplicate where site_id=10022

3、分析Sql

site_access_duplicate 明细模型

site_access_aggregate 聚合模型

site_access_unique 更新模型

【1】限制两个排序键

explain select * from site_access_duplicate where site_id = 10010 and city_code = 10;

0:OlapScanNode

TABLE: site_access_duplicate

PREAGGREGATION: ON

PREDICATES: `site_id` = 10010, `city_code` = 10

partitions=1/1

rollup: site_access_duplicate

tabletRatio=1/10

tabletList=11012

cardinality=4

avgRowSize=144.75

numNodes=3

tuple ids: 0

 

【2】只限制第一个排序键site_id

explain select * from site_access_duplicate where site_id = 10010

0:OlapScanNode

TABLE: site_access_duplicate

PREAGGREGATION: ON

PREDICATES: `site_id` = 10010

partitions=1/1

rollup: site_access_duplicate

tabletRatio=1/10

tabletList=11012

cardinality=4

avgRowSize=144.75

numNodes=3

tuple ids: 0

 

【3】只限制第二个排序键city_code

explain select * from site_access_duplicate where city_code = 2;

0:OlapScanNode

TABLE: site_access_duplicate

PREAGGREGATION: ON

PREDICATES: `city_code` = 10

partitions=1/1

rollup: site_access_duplicate

tabletRatio=10/10

tabletList=11004,11008,11012,11016,11020,11024,11028,11032,11036,11040

cardinality=11

avgRowSize=262.45456

numNodes=3

tuple ids: 0

 

4、物化视图，对于走不了shortkey的可以建物化视图解决

基础表
CREATE TABLE site_access_duplicate
(
site_id INT DEFAULT '10',
city_code SMALLINT,
user_name VARCHAR(32) DEFAULT '',
pv BIGINT DEFAULT '0'
)
DUPLICATE KEY(site_id, city_code)
DISTRIBUTED BY HASH(site_id) BUCKETS 10;

【1】创建物化视图

【注】报错errCode = 2, detailMessage = The materialized view is coming soon

对明细模型创建物化视图，需要在Fe配置文件中新增

enable_materialized_view=true

CREATE MATERIALIZED VIEW `site_access_duplicate_pv_view` AS
SELECT city_code, SUM(pv) AS sum_pv
FROM  site_access_duplicate
GROUP BY city_code ORDER BY city_code

【2】查看数据库下物化视图

SHOW ALTER TABLE ROLLUP FROM test;

如果State为"FINISHED"说明基表到物化视图已经创建完成

【3】查看表物化视图结果

desc site_access_duplicate all;

【4】分析查询Sql是否走物化视图

PREAGGREGATION: ON 和 rollup: site_access_duplicate_pv_view说明使用物化视图

【5】删除物化视图

DROP MATERIALIZED VIEW IF EXISTS site_access_duplicate_pv_view from site_access_duplicate;

【6】智能路由规则

选择包含所有查询列的MV表

按照过滤和排序的Column筛选最符合的MV表

按照Join的Column筛选最符合的MV表

行数最小的MV表

列数最小的MV表

 

注意点：

（1）必须是单个表聚合

（2）支持以下聚合函数

COUNT

MAX

MIN

SUM

PERCENTILE_APPROX

HLL_UNION

（3）RollUp表的模型必须和Base表保持一致（聚合表的RollUp表是聚合模型，明细表的RollUp表是明细模型）

（4）Delete 操作时，如果 Where 条件中的某个 Key 列在某个 RollUp表中不存在，则不允许进行 Delete。

例删除username，该字段在物化视图不存在，则不允许删除。要不物化视图不更新数据可能对不上，解决办法删物化视图

5、bitmap索引

参考文章：https://zhuanlan.zhihu.com/p/54783053

【1】创建索引

CREATE INDEX idx_site_id ON site_access_duplicate (city_code)

USING BITMAP COMMENT '城市索引';

 

【2】查看表配置的索引

SHOW INDEX FROM site_access_duplicate;

 

【3】删除索引

DROP INDEX idx_site_id ON site_access_duplicate;

注意事项

（1）列都可以建Bitmap 索引；对于聚合模型，只有Key列可以建Bitmap 索引

（2）Bitmap索引, 应该在取值为枚举型, 取值大量重复, 较低基数

（3）不支持对Float、Double、Decimal 类型的列建Bitmap 索引

 

6、Bloomfilter索引

【1】添加索引，建表时指定

PROPERTIES ( "bloom_filter_columns"="city_code,pv" )

【2】查看索引

SHOW CREATE TABLE site_access_duplicate;

【3】删除索引

ALTER TABLE site_access_duplicate SET ("bloom_filter_columns" = "");

【4】修改索引

ALTER TABLE site_access_duplicate SET ("bloom_filter_columns" = "city_code,pv");

【5】打开Fe的Report开关 set is_report_success=true;

验证Sql

ALTER TABLE site_access_duplicate SET ("bloom_filter_columns" = "user_name");
select * from site_access_duplicate where user_name = 'xiaoming';

注意事项

（1）不支持对Tinyint、Float、Double 类型的列建Bloom Filter索引

（2）Bloom Filter索引只对in和=过滤查询有加速效果

（3）如果要查看某个查询是否命中了Bloom Filter索引，可以通过查询的Profile信息查看

 

7、集群管理

查看Fe集群状态　　show frontends \G

查看Be集群状态　　show backends \G