Druid学习之路 （一）Druid初识

作者：Syn良子 出处：https://www.cnblogs.com/cssdongl/p/9588079.html 转载请注明出处

最近在学习和使用Druid.觉得一些章节有必要按照自己的理解翻译一下并分享出来,翻译不到位的地方欢迎指正.

Druid是什么?

Druid是一个为大规模数据集上进行高性能的交互分析而设计的("OLAP"式)的数据存储引擎.Druid经常用来作为数据存储来驱动基于GUI的分析方面的应用,也可以为需要快速聚合的应用提供高并发的后端API.Druid通常包含以下一些应用:

• 点击流分析
• 网络流量分析
• 服务器指标存储
• 应用性能指标
• 数字市场分析
• 商业智能/OLAP

Druid关键性的功能如下:

1. 列式存储.Druid使用面向列的存储，这意味着它对一些特殊的查询仅仅需要加载相应的列就可以了.这能带来巨大的性能提升因为它仅仅需要查询很少的列.此外，它的每一列是按照它自己的独有的数据类型而进行过的优化存储,这样可以支持快速的扫描和聚合.
2. 可扩展的分布式系统.Druid一般部署在成百上千的服务器上,它能够实现每秒百万级别的数据采集速率，以及万亿级别的数据记录存储以及亚秒级别的数据查询延迟
3. 大规模并行式处理.Druid能够在整个集群上对查询进行并行处理.
4. 实时的或者批处理的数据摄取.Druid能够实时的摄取数据(摄取的数据能够立刻被用来查询)或者以批处理的方式进行摄取。
5. 自愈性,自平衡，容易管理.作为一个集群的管理者，很方便可以来扩大或者缩小集群的规模.对于后台来讲，简单的从集群上添加或者删除服务器不用停机集群自己就能够自动实现重新平衡.任意一个druid节点坏掉的话，集群自己就可以绕过坏点直到这些有问题的服务器被替换掉.Druid被设计成一个永不停机7*24小时无间断运行的集群，即使配置改变以及软件升级也不应该做为它停机的理由.
6. 永远不会丢失数据的容错的云原生架构.一旦Druid已经摄取了数据，那么一个备份就会被拷贝到deep storage(这个存储方式可以是云存储，HDFS或者其他共享文件系统).如果单个Druid服务器失败那么能够从deep storage进行恢复.对于影响一部分druid服务器的有限故障，replication能够确保查询在服务器恢复的时候仍然是可能的
7. 快速过滤的索引.Druid使用CONCISE或者Roaring压缩的位图索引来创建索引用于控制在多列上进行快速过滤和查询
8. 近似算法.Druid包含一些近似count-distinct,近似排名,近似直方图和中位数这些近似算法.这些算法使用较少的内存但是通过能够提供比精确计算更快的速度.当然，对于那些要求精确比速度更重要的场景，druid仍然能够提供精确的计算和排名.
9. 数据摄取预聚合.Druid支持在摄取数据的时候进行预聚合.这种对数据摄取的预聚合能够节省消耗以及提升性能.

何时使用Druid

如果你的case满足下面一些特征那么Druid应该是一个好的选择:

• 插入数据的频次非常高，但是修改非常少
• 你的大部分查询时聚合和报表查询(比如"group by"查询).当然你可以还有一些查找和扫描的查询
• 你的意愿是希望查询延迟在100ms到几秒之间
• 你的数据有时间的属性(Druid包含一些特殊的设计和优化对于时间序列)
• 你可能有不止一个表，而且每个查询仅命中一些大的分布式的表.查询可能也会命中不止一个小的lookup表.
• 你需要在一些高基数的列上面(比如URLS,user IDs)做一些快速的计算和排序
• 你需要从Kafka,HDFS,flat files或者对象存储比如Amszon S3上加载数据

下面一些情况你可能不太适合用Druid:

• 你需要对已经存在的记录利用主键进行低延迟的更新操作.Druid支持流式插入，但是不是更新(一般用后台的批处理任务来进行更新)
• 你正在构建一个线下的报表系统而且对查询延迟不是非常在意
• 你想做一些大的表的关联(比如连接大的事实表和另外一个大的事实表).