hive元数据研究
hive的元数据存放在关系型数据库中，元数据中存储了hive中所有表格的信息，包括表格的名字，表格的字段，字段的类型，注释。这些信息分散的存放在各个表中，给定一个hive中的表格名字，查询这个表中含有的所有字段，使用如下的SQL语句：
mysql> select COLUMNS_V2.* from COLUMNS_V2,SDS, TBLS where COLUMNS_V2.CD_ID = SDS.CD_ID and SDS.SD_ID = TBLS.SD_ID and TBLS.TBL_NAME='dwd_medical_hospital_dd';
+-------+--------------------------------------+-------------+-----------+-------------+
| CD_ID | COMMENT | COLUMN_NAME | TYPE_NAME | INTEGER_IDX |
+-------+--------------------------------------+-------------+-----------+-------------+
| 603 | 地址 | address | string | 2 |
| 603 | 医院类型 | clean_type | string | 14 |
| 603 | 采集时间 | create_time | string | 10 |
| 603 | 所在大区 | extend_area | string | 13 |
| 603 | 所在城市 | extend_city | string | 11 |
| 603 | 所在省份 | extend_prov | string | 12 |
| 603 | 路线 | howtogo | string | 3 |
| 603 | 主键ID/在其它表中表示为外键：hosp_id | id | string | 0 |
| 603 | 医院等级 | level | string | 4 |
| 603 | 医院名字 | name | string | 1 |
| 603 | 简介 | profiles | string | 7 |
| 603 | 区域ID/城市ID | prov_id | string | 5 |
| 603 | 资源配置量 | resouce | string | 8 |
| 603 | 电话 | telephone | string | 6 |
| 603 | 采集URL | url | string | 9 |
| 583 | 地址 | address | string | 2 |
| 583 | 医院类型 | clean_type | string | 14 |
| 583 | 采集时间 | create_time | string | 10 |
| 583 | 所在大区 | extend_area | string | 13 |
| 583 | 所在城市 | extend_city | string | 11 |
| 583 | 所在省份 | extend_prov | string | 12 |
| 583 | 路线 | howtogo | string | 3 |
| 583 | 主键ID/在其它表中表示为外键：hosp_id | id | string | 0 |
| 583 | 医院等级 | level | string | 4 |
| 583 | 医院名字 | name | string | 1 |
| 583 | 简介 | profiles | string | 7 |
| 583 | 区域ID/城市ID | prov_id | string | 5 |
| 583 | 资源配置量 | resouce | string | 8 |
| 583 | 电话 | telephone | string | 6 |
| 583 | 采集URL | url | string | 9 |
+-------+--------------------------------------+-------------+-----------+-------------+
30 rows in set
mysql> select COLUMNS_V2.* from COLUMNS_V2,SDS, TBLS where COLUMNS_V2.CD_ID = SDS.CD_ID and SDS.SD_ID = TBLS.SD_ID and TBLS.TBL_NAME='dws_info_doctor_dd';
+-------+----------+----------------+-----------+-------------+
| CD_ID | COMMENT | COLUMN_NAME | TYPE_NAME | INTEGER_IDX |
+-------+----------+----------------+-----------+-------------+
| 673 | 年龄 | age | string | 3 |
| 673 | 科室ID | department_id | string | 10 |
| 673 | 从诊年限 | diagnosis_time | string | 6 |
| 673 | 履历 | experience | string | 8 |
| 673 | 擅长疾病 | good | string | 5 |
| 673 | NULL | hosp_id | string | 11 |
| 673 | 主键ID | id | string | 0 |
| 673 | 医生名称 | name | string | 1 |
| 673 | 门诊量 | outpatient_num | string | 7 |
| 673 | 医生职称 | position | string | 2 |
| 673 | 评分 | score | string | 9 |
| 673 | 性别 | sex | string | 4 |
| 758 | 年龄 | age | string | 3 |
| 758 | 科室ID | department_id | string | 10 |
| 758 | 从诊年限 | diagnosis_time | string | 6 |
| 758 | 履历 | experience | string | 8 |
| 758 | 擅长疾病 | good | string | 5 |
| 758 | NULL | hosp_id | string | 11 |
| 758 | 主键ID | id | string | 0 |
| 758 | 医生名称 | name | string | 1 |
| 758 | 门诊量 | outpatient_num | string | 7 |
| 758 | 医生职称 | position | string | 2 |
| 758 | 评分 | score | string | 9 |
| 758 | 性别 | sex | string | 4 |
| 732 | 年龄 | age | string | 3 |
| 732 | 科室ID | department_id | string | 10 |
| 732 | 从诊年限 | diagnosis_time | string | 6 |
| 732 | 履历 | experience | string | 8 |
| 732 | 擅长疾病 | good | string | 5 |
| 732 | 主键ID | id | string | 0 |
| 732 | 医生名称 | name | string | 1 |
| 732 | 门诊量 | outpatient_num | string | 7 |
| 732 | 医生职称 | position | string | 2 |
| 732 | 评分 | score | string | 9 |
| 732 | 性别 | sex | string | 4 |
+-------+----------+----------------+-----------+-------------+
35 rows in set
hive元数据中相关的表格关系如下：
hive元数据研究的更多相关文章
- hive 元数据解析
在使用Hive进行开发时,我们往往需要获得一个已存在hive表的建表语句(DDL),然而hive本身并没有提供这样一个工具. 要想还原建表DDL就必须从元数据入手,我们知道,hive的元数据并不存放在 ...
- 如何监听对 HIVE 元数据的操作
目录 简介 HIVE 基本操作 获取 HIVE 源码 编译 HIVE 源码 启动 HIVE 停止 HIVE 监听对 HIVE 元数据的操作 参考文档 简介 公司有个元数据管理平台,会定期同步 HIVE ...
- spark on yarn模式下配置spark-sql访问hive元数据
spark on yarn模式下配置spark-sql访问hive元数据 目的:在spark on yarn模式下,执行spark-sql访问hive的元数据.并对比一下spark-sql 和hive ...
- Hive元数据启动失败，端口被占用
org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0. ...
- Hive实现自增序列及常见的Hive元数据问题处理
Hive实现自增序列 在利用数据仓库进行数据处理时,通常有这样一个业务场景,为一个Hive表新增一列自增字段(比如事实表和维度表之间的"代理主键").虽然Hive不像RDBMS如m ...
- Hive——元数据表含义
Hive--元数据表含义 1.VERSION -- 查询版本信息 Field Type Comment VER_ID bigint(20) ID主键 SCHEMA_VERSION va ...
- 大数据学习（11）—— Hive元数据服务模式搭建
这一篇介绍Hive的安装及操作.版本是Hive3.1.2. 调整部署节点 在Hadoop篇里,我用了5台虚拟机来搭建集群,但是我的电脑只有8G内存,虚拟机启动之后卡到没法操作,把自己坑惨了. Hive ...
- 再谈Hive元数据如hive_metadata与Linux里MySQL的深入区别（图文详解）
不多说,直接上干货! [bigdata@s201 conf]$ vim hive-site.xml [bigdata@s201 conf]$ pwd /soft/hive/conf [bigdata@ ...
- Hive元数据找回
如果不小心删除了了hive的元数据文件(/user/hive/warehouse),只要先前core-site.xml文件中设置了fs.trash.interval属性就可以找回.hdfs会为用户创建 ...
随机推荐
- 【Zookeeper】源码分析之请求处理链（三）之SyncRequestProcessor
一.前言 在分析了PrepRequestProcessor处理器后,接着来分析SyncRequestProcessor,该处理器将请求存入磁盘,其将请求批量的存入磁盘以提高效率,请求在写入磁盘之前是不 ...
- Linq to entity 执行多个字段排序的方法
可以连续使用:OrderBy,ThenBy 或者 OrderByDescending,ThenByDescending var data = db.User .Where(u => u.User ...
- TOEIC真题学习
01.The old-fashioned delicatessen inside the street has become a popular place for lunch 街道里面的熟食店正在成 ...
- SpringBoot常用属性配置
SpringBoot 2.x:https://github.com/spring-projects/spring-boot/blob/2.0.x/spring-boot-project/spring- ...
- Linux环境变量加载顺序
01.环境变量文件描述 /etc/profile: 此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行,并从/etc/profile.d目录的配置文件中搜集shell的设置./etc ...
- 如何解决input file 选取相同文件后，change事件不起作用解决方法
两种方法 1.在你的input所属的form表单reset()就可以了! $("#avatorForm")[0].reset(); 2.设置你的input file value值为 ...
- Android ListView之选中(撤销选中)Item
在ContactListActivity中,点击未选中的item将其选中,再点击已选中的item撤销其选中 public void onItemClick(AdapterView<?> p ...
- java代码行数计算器
import java.io.BufferedReader; import java.io.File; import java.io.FileReader; import java.util. ...
- 修改谷歌云google cloud engine VM root账户的密码和允许远程ssh登录
Figured it out. The VM's in cloud engine don't come with a root password setup by default so you'l ...
- CentOS6.6安装S******Sockets服务端
1.查看系统 [root@localhost ~]# cat /etc/issue CentOS release 6.6 (Final) [root@localhost ~]# uname -a Li ...