上次写了hive metastore的partition的生命周期,但是简略概括了下alter_partition的操作,这里补一下alter_partition,因为随着项目的深入,发现它涉及的地方较多,比如insert into 时如果路径存在情况下会调用alter_partition,调用insert overwrite语句时,也会调用该方法, 入口依旧是Hive.java这个类: public void alterPartition(String dbName, String tblNa…

不要问我为什么,因为爱,哈哈哈哈...进入正题,最近做项目顺带学习了下hive metastore的源码,进行下知识总结. hive metastore的整体架构如图: 一.组成结构: 如图我们可以看到,hive metastore的组成结构分为 客户端 服务端 ,那么下来我们逐一进行分析: 1.客户端  从代码的角度来看:尼玛太多了..我们从入口HIVE开始看,可以找到MetaStoreClient客户端的创建: private IMetaStoreClient createMetaStore…

最近随着项目的深入,发现hive meta有些弊端,就是你会发现它的元数据操作与操作物理集群的代码耦合在一起,非常不利于扩展.比如:在create_table的时候同时进行路径校验及创建,如下代码: if (!TableType.VIRTUAL_VIEW.toString().equals(tbl.getTableType())) { if (tbl.getSd().getLocation() == null || tbl.getSd().getLocation().isEmpty()) { t…

25 BasicUsageEnvironment0基本使用环境基类——Live555源码阅读(三)UsageEnvironment 25 BasicUsageEnvironment0基本使用环境基类——Live555源码阅读(三)UsageEnvironment 简介 代码定义如下 BasicUsageEnvironment0构造析构与重置 ResultMsg系列方法 getResultMsg() const方法(获取buffer) appendToResultMsg方法(添加msg到buffe…

26 BasicUsageEnvironment基本使用环境--Live555源码阅读(三)UsageEnvironment 26 BasicUsageEnvironment基本使用环境--Live555源码阅读(三)UsageEnvironment 简介 以下是其定义 BasicUsageEnvironment的构造与析构 createNew方法(创建对象) getErrno方法 operator<<方法(输出到strerr) 这是Live555源码阅读的第三部分,包括了UsageEnvir…

24 UsageEnvironment使用环境抽象基类——Live555源码阅读(三)UsageEnvironment 24 UsageEnvironment使用环境抽象基类——Live555源码阅读(三)UsageEnvironment 简介 下面是其定义 UsageEnvironment的构造与析构 reclaim方法(自我回收) internalError方法(内部错误) 这是Live555源码阅读的第三部分,包括了UsageEnvironment相关的三个类. 本文由乌合之众 lym瞎编…

对Cli的重新认识*). hive cli有两种模式, 本地模式: 采用持有的driver对象来处理, 远程模式: 通过连接HiveServer来实现, 由此可见之前的架构图中的描述还是模糊且带有误导性*). 支持singal的处理支持, 比如对ctrl+c中断, 需要两次才完全退出交互*). 交互式命令处理模式 源码阅读*). Signal类对象的使用,Singal静态函数 Signal.handle(Singal singla, SingalHandler handler);对signal函…

额,没忍住,想完全了解sparksql,毕竟一直在用嘛,想一次性搞清楚它,所以今天再多看点好了~ 曾几何时,有一个叫做shark的东西,它改了hive的源码...突然有一天,spark Sql突然出现,如下图: = =好了,不逗了,言归正传...那么一条sql传统数据库会是怎么解析的呢? 传统数据库的解析过程是按Rusult.Data Source.Operation的次序来解析的.传统数据库先将读入的SQL语句进行解析,分辨出SQL语句中哪些词是关键字(如select,from,where),…

先理一下Bean的初始化路线 org.springframework.beans.factory.support.AbstractBeanDefinitionReader public int loadBeanDefinitions(Resource... resources) throws BeanDefinitionStoreException { Assert.notNull(resources, "Resource array must not be null"); int c…

package java.util; public interface Collection<E> extends Iterable<E> { //返回该集合中元素的数量 int size(); //判断该集合中元素是否为空 size() == 0 boolean isEmpty(); boolean contains(Object o); Iterator<E> iterator(); Object[] toArray(); <T> T[] toArray…