使用hive数据查询小结

业务背景：

公司大数据查询需要通过hive查询和分析一些数据

产品提出业务分析需求：

我的处理方式：

接到需求就想怎么写SQL语句，然后不断调整SQL语句进行验证，最后这个需求写了170行的SQL语句，而且经常报错，最后花了大半天时间才将数据计算出来。

资深大数据开发工程师的处理方式：

1. 根据业务进行分析设计，看我们真正需要的数据是什么
2. 然后开始设计SQL语句
3. 进行验证调整

结果，SQL语句只有38行，没有对比，就没有进步的。

根据上面这个分析和处理过程发现了自己当下的问题：

1. 对SQL语句掌握的不熟悉，写SQL的能力需要提高
2. SQL出错不知道如何排查问题
3. 写的SQL很长，没有对SQL进行分析设计

根据上面出现的问题进行总结和调整：

1. 提升自己的SQL能力
2. 以最小MVP的方式排查比较大的SQL语句，将SQL小范围的尝试和运行
3. 一定要分析清楚业务场景以及最后实现的效果，然后根据想要的效果对SQL进行设计和分析

躬身入局