记一次Apache Carbondata PR的经历

 前言

前段时间有幸接触到Apache Carbondata，试用过程中发现了一个小小的问题，并且又很快的定位到了问题。然后在社区群里反映了下，负责人问愿不愿意提个JIRA,PR，然后我在没有任何开源项目PR过的情况下竟然欣然答应了。（可能跟ZB心有关吧o(╥﹏╥)o）然后来说说这段美妙而又酸爽的经历吧【学习到了很多】！

简介

CarbonData是首个由中国公司发起并捐献给Apache基金会的开源项目，于2017年4月正式成为Apache顶级项目，由华为开源并支持Hadoop的高性能列式存储文件格式，其目的是提供一种统一的数据存储方案，以一份数据同时支持大数据分析的多种应用场景，All In One，并通过多级索引、字典编码、列式存储等特性提升 I/O 扫描和计算性能，实现百亿数据级秒级响应。目前最新版是1.5.1，集成了spark 2.1.0，2.2.1，2.3.2和Hadoop2.7.2，如果是其它版本，则需要自己编译源码！

 优势

      1. 规模比impala+kudu大，基于MPP架构的系统很难超过100节点。

2. 没有进程，不需要单独部署集群，在现有hadoop/spark/presto上即可以使用。

3. 有索引，对多维过滤查询不用全扫描。

4. 有预汇聚，对OLAP

问题

      先抛出来试用过程中出现的问题。carbondata版本：1.5.0，spark 2.3.2     模式：本地 spark-shell

例子：http://carbondata.apache.org/quick-start-guide.html

   

问题描述：

上面是提交JIRA的时候提交的bug再现流程，总的就是在创建 carbondata 的时候，getOrCreateCarbonSession方法默认有两个参数 storePath（存储table数据） metaStorePath（t存储able元数据），不传的话会默认创建，但可能好多人第一次使用的时候不清楚，然后会根据quick start 传一个空字符串，造成的结果就是每一步都显示成功，但最终carbondata表结果查询却是空。通过查看源码，在carbondata\integration\spark2模块中发现 getOrCreateCarbonSession  方法的storePath，metaStorePath参数都只是简单的 null 的判断，所以造成了本地创建storePath存储在空字符串中，导致最终查询不出来结果。

解决方案：

使用 StringUtils.isNotBlank 替代原来的简单 null 判断。

流程

      1) 首先注册Apache JIRA 账号（没有的话），注意在这一定要描述清楚你的问题的是什么，属于什么类型（优先级不一样）  例子：https://issues.apache.org/jira/projects/CARBONDATA/issues/CARBONDATA-3119?filter=allopenissues

2）fork ，https://github.com/apache/carbondata。

3）a. git config:

$ git config --global user.email "xxxxx@163.com"     --输入自己的git邮箱
        $ git config --global user.name "xxxxx"                     --输入自己的git name

b. git clone

$ git clone https://github.com/apache/carbondata.git   --把源码下载到自己置顶的本地目录

c.

git remote add XXXX https://github.com/XXXX/carbondata.git   --跟fork下来的carbondata git仓库关联起来

d.

git fetch --all

     git checkout -b  master   --直接使用master分支（当然也可以创建自己的分支）

   

     e.

     git add 修改的文件

     git commit -m "本次commit说明"

     git rebase -i  分支名字                             -- 这个命令是用来修改 已提交的 commit  的说明的。就是开源项目都有自己严格的规范，不合格需要重新提交commit说明

   f:

    git push 远程主机名 分支名     --提交到远程仓库  本地分支名和远程分支名一致

  

  当然远程提交之前确保测试用例是通过的，然后就可以直接在fork下来的仓库中 点击 Pull request了，一般这的说明都会有严格的模板例子，所以不要擅自改格式。提交了PR之后，就注意邮件消息等回复，需要修改或者不规范的地方需要回工，知道最终被merge。然后恭喜你就成为一名Apache carbondata 的contributors之一了。 那么楼主我自己很荣幸也是拿到了奖励的华为 小天鹅 蓝牙音箱，最主要的是荣誉感满满（虽然是小小的一次修改，但毕竟是第一次嘛，第一次还是很值得留念的博友们）

 项目编译过程中遇到的问题：

  1）在windows编译的的时候 maven 命令：

clean -DskipTests -Pbuild-with-format -Pspark-2.3 -Pwindows install

  2）首先需要本地安装 thrift 0.93，并配置环境变量。  根据 thrift --version查看是否安装成功

  3）import scala 包是有分组和组内排序的，注释也有严格的格式。 不然编译的时候会报 代码style不对，编译通不过的。

Apache carbondata官方网站：   http://carbondata.apache.org/