主要的需求

针对大体量表的OLAP统计查询，需要找到一个稳定，高性能的大数据数据库，具体使用

  • 数据可以实时的写入和查询，并发的tps不是很高
  • 建立数据仓库，模式上主要采用星星模型、雪花模型，或者宽表
  • 前端展示 分为3类  saiku、granafa、c#代码开发
  • 数据体量：事实表在3-5亿、维度表大的在500万左右
  • 数据集成：可以和现在使用的kettle进行无缝集成

基于以上需求，前期使用tidb，但是在大体量表的olap查询性能不是很好，使用tipark 离线计算还可，但是时间上无法满足系统需求，初步了解到mpp架构的greenplum。因此先期进行了简单比较

基础测试数据表说明

数据表

订单宽表，数据表字段为300个左右

基本的测试结果 --不包含并发测试

集群基本配置 ：

Greenplum  4台8核56G，9个segments  表：列存，无索引

tidb ：6台8核56G，ssd

tpc-ds

tpc-h

其余测试 --

小结

  • 针对OLAP的查询，greenplum 的分析统计性能要优于tidb
  • 在greenplum不使用索引的情况下，点差要比tidb 差不少，增加对应的索引之后，性能差不多，但是greenplum 不建议使用索引
  • greenplum在列存的场景下，查询的列的个数对性能影响较大。

下一步验证

1.星星模型 下的性能，考虑事实表 3亿，维度表 500万，

2.3亿的订单数据是否需要使用分区表

3.报表导出场景是否可以使用gp

4. sqlserver的存储过程是否可以迁移到greenplum

GreenPlum tidb 性能比较的更多相关文章

  1. 从oracle往greenplum迁移，查询性能不满足要求的定位以及调优过程

    一.前言 在一次对比oracle和greenplum查询性能过程中,由于greenplum查询性能不理想,因此进行定位分析,提升greenplum的查询性能 二.环境信息 初始情况下,搭建一个小的集群 ...

  2. GreenPlum简单性能测试与分析--续

    版权声明:本文由黄辉原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/259 来源:腾云阁 https://www.qclou ...

  3. GREENPLUM简单介绍

    原帖:http://www.itpub.net/thread-1409964-1-1.html 什么是GREENPLUM? 对于非常多IT人来说GREENPLUM是个陌生的名字.简单的说它就是一个与O ...

  4. Greenplum——大数据时代高性能的数据仓库与BI应用平台

    一. Greenplum简介 大数据是个炙手可热的词,各行各业都在谈.一谈到大数据,好多人认为就是Hadoop.实际上Hadoop只是大数据若干处理方案中的一个.现在的SQL.NoSQL.NewSQL ...

  5. GREENPLUM简介

    什么是GREENPLUM? 对于很多IT人来说GREENPLUM是个陌生的名字.简单的说它就是一个与ORACLE, DB2一样面向对象的关系型数据库.我们通过标准的SQL可以对GP中的数据进行访问存取 ...

  6. GreenPlum 与hadoop什么关系？(转)

    没关系. gp 可以处理大量数据, hadoop 可以处理海量. gp 只能处理湖量,或者河量. 无法处理海量. 作者:SallyLeo链接:https://www.zhihu.com/questio ...

  7. Deepgreen DB 是什么（含Deepgreen和Greenplum下载地址）

    Deepgreen官网下载地址:http://vitessedata.com/products/deepgreen-db/download/ 不需要注册 Greenplum官网下载地址:https:/ ...

  8. [转帖]Greenplum ：基于 PostgreSQL 的分布式数据库内核揭秘 (上篇)

    Greenplum :基于 PostgreSQL 的分布式数据库内核揭秘 (上篇) https://www.infoq.cn/article/3IJ7L8HVR2MXhqaqI2RA 学长的文章.. ...

  9. (原)centos7安装和使用greenplum4.3.12(详细版)

     对于很多IT人来说GREENPLUM是个陌生的名字.简单的说它就是一个与ORACLE, DB2一样面向对象的关系型数据库.我们通过标准的SQL可以对GP中的数据进行访问存取. 本质上讲GREENPL ...

  10. 唯品会海量实时OLAP分析技术升级之路

    本文转载自公众号 DBAplus社群 , 作者:谢麟炯 谢麟炯,唯品会大数据平台高级技术架构经理,主要负责大数据自助多维分析平台,离线数据开发平台及分析引擎团队的开发和管理工作,加入唯品会以来还曾负责 ...

随机推荐

  1. SAP物料状态

    物料状态控制当前物料是否可以生产.采购.设计等功能 设置路径:spro-->后勤常规-->物料主数据-->设置关键字段-->定义物料状态

  2. Linux工作中最常用命令整理

    ls 命令:显示指定工作目录下之内容 ls -a # 显示所有文件夹,包含隐藏的. 和.. ls -l # 显示文件的详细信息,包含文件形态,权限,所属,大小,其实就是平常用的 ll ll -h # ...

  3. 【Python】容器：列表（list）／字典（dict）／元组（tuple）／集合（set）

    三.Python容器:列表(list)/字典(dict)/元组(tuple)/集合(set) 1.列表(list) 1.1 什么是列表 是一个'大容器',可以存储N多个元素简单来说就是其他语言中的数组 ...

  4. CSS3选择器nth-child(n)

    CSS3选择器nth-child(n)实现隔几行选择元素 nth-child(n),n 可以是数字.关键词或公式.选择器匹配属于其父元素的第N个子元素,不论元素的类型. 序号写法:li:nth-chi ...

  5. 利用 fastjson 的 toJSONStringWithDateFormat 方法，将Date 格式化 为常见类型的时间

    利用 fastjson 的 toJSONStringWithDateFormat 方法,将Date 格式化 为常见类型的时间 JSON.toJSONStringWithDateFormat(nrcSt ...

  6. 关闭Windows form窗体

    原文https://www.cnblogs.com/HappyEDay/p/5713707.html  在c#中退出WinForm程序包括有很多方法 this.Close(); Application ...

  7. spring缓存创建

    /** * * <b>创建缓存</b> * <p> * 创建缓存,若已存在直接返回. * <p> * @param cacheName * @retur ...

  8. 洛谷 P4454 [CQOI2018]破解D-H协议

    题目 https://www.luogu.com.cn/problem/P4454 杂题乱做ing... 思路 首先我们把式子列一下: \(g^a\equiv A(mod P)\) \(g^b\equ ...

  9. 杭电oj 蟠桃记

    Problem Description 喜欢西游记的同学肯定都知道悟空偷吃蟠桃的故事,你们一定都觉得这猴子太闹腾了,其实你们是有所不知:悟空是在研究一个数学问题!什么问题?他研究的问题是蟠桃一共有多少 ...

  10. MacOS如何使用emoji表情？

    Emoji作为一种表情符号,被现代计算机系统都支持的Unicode编码所采纳,普遍应用于各种社交网络中.而苹果作为第一个引用该这种表情符号的公司,其这种表情符号无疑是同类中最佳的.因为是被Unicod ...