不足

即使开启hive权限认证的情况下,不论什么用户仍然是超级用户。能够通过grant给不论什么人赋予不论什么权限,这样权限认证基本没有意义。因此必须在开启权限认证的同一时候。对运行grant/revoke的实体进行限制,比方仅仅有admin才干 grant privilege on database,仅仅有table owner才干grant privilege on table。BIP中hive眼下是没有开启权限认证的。

改进

针对hive权限的不足以及bip对hive的使用场景。改进后的hive权限认证有一个拥有超级权限的角色admin_role, 即admin_role拥有没有开启权限认证时候一样的全部权限。拥有admin_role的用户就是admin,而普通用户仅仅有是某个实体的owner或者被grant相应的权限时才干在这个实体上进行相应的操作。详细体如今一下几点:

1、 DB上的权限:BIP的hive_warehouse中仅仅有一个DB,也即默认的DB default,仅仅有admin才干对DB上权限进行管理,主要有:create/drop database、grant/revoke privilege on database

2、 Table/Column上的权限:普通用户仅仅有在被pplive grant create on database后才干创建表。一个表在被创建后,admin_role和owner拥有all也即全部的权限,同一时候仅仅有对table拥有all权限才干grant/revoke privilege on table。其它用户或拥有的role被grant相应权限后就能进行相应的操作

3、 Role上的权限:仅仅有admin_role才有权create/drop role,因此也就仅仅有admin才干对role进行权限相关的操作

4、 仅仅有admin_role拥有代理权限,即admin_role能够转换为bip.user用户进行hive的一切操作,此时创建、读写表都是以代理的bip.user的身份去运行,适用于bip web场景

Hive对hql的解析主要有词法分析、语法分析、语义分析和运行四步,词法分析和语法分析主要是形成抽象语法树AST。确保hql语法的正确性,语义分析则是将AST翻译成task并分析task间的关系形成有向无环图DAG。终于运行引擎则将DAG中task提交给Hadoop运行并监控task的运行状态。Hive通过在语义分析中进行权限验证。检查用户是否对运行hql所操作的table和column有对应的权限。同一时候开放了hook让我们能够对语义分析的输入和输出进行操作,下面属性能够配置语义分析hook类:

<property>

<name>hive.semantic.analyzer.hook</name>

<value>com.bip.hive.auth.AuthHook></value>

</property>

语义分析hook类须继承抽象类AbstractSemanticAnalyzerHook,可实现preAnalyze进行语义分析前检查,实现postAnalyze进行语义分析后操作,而自己定义的操作限制是在preAnalyze中实现,利用语义分析后结果自己定义权限规则可在postAnalyze中实现。

我们在Semantic Hook中获取用户的身份,推断用户能否运行某种操作。进而区分了admin和非admin的运行权限。

preAnalyze限制操作类型代码演示样例:

public ASTNode preAnalyze(HiveSemanticAnalyzerHookContext context,

ASTNode ast) throws SemanticException {

String userName = null;

// userName = context.getUserName();

//String command = context.getCommand();

if (SessionState.get() != null

&& SessionState.get().getAuthenticator() != null) {

userName = SessionState.get().getAuthenticator().getUserName();

}



switch (ast.getToken().getType()) {

case HiveParser.TOK_CREATEDATABASE:

case HiveParser.TOK_DROPDATABASE:

case HiveParser.TOK_CREATEROLE:

case HiveParser.TOK_DROPROLE:

case HiveParser.TOK_GRANT_ROLE:

case HiveParser.TOK_REVOKE_ROLE:

case HiveParser.TOK_CREATETABLE:

case HiveParser.TOK_DROPTABLE:

if (!AdminManager.isAdmin(userName)) {

throw new SemanticException(userName + " is not admin, expect admin privilege");

}

break;



case HiveParser.TOK_GRANT:

case HiveParser.TOK_REVOKE:

if(!AdminManager.isAdmin(userName)) {

int childCount = ast.getChildCount();

if(childCount>2) {

for (int i = 2; i < ast.getChildCount(); i++) {

ASTNode astChild = (ASTNode) ast.getChild(i);

if (astChild.getType() == HiveParser.TOK_PRIV_OBJECT && !grantRevokeCheck(astChild, userName)) {

throw new SemanticException(userName+" doesn't have grank/revoke privilege on the table ");

}

}

}

}

break; 

default:

break; 



return ast;

}

postAnalyze自己定义权限检查代码演示样例:

public void postAnalyze(HiveSemanticAnalyzerHookContext context,List<Task<?

extends Serializable>> rootTasks) throws SemanticException {

Hive hive = null;

try {

hive = context.getHive();

} catch (HiveException e) {

e.printStackTrace();

throw new RuntimeException(e);

}

Set<ReadEntity> inputs = context.getInputs();

Set<WriteEntity> outputs = context.getOutputs();



Set<String> readTables = new HashSet<String>();

for(ReadEntity input : inputs) {

Table table = input.getT();

if(table!=null) {

readTables.add(table.getTableName());

}

}



Set<String> writeTables = new HashSet<String>();

for(WriteEntity output : outputs) {

Table table = output.getT();

if(table!=null) {

writeTables.add(table.getTableName());

}

}



String userName = SessionState.get().getAuthenticator().getUserName();

logger.debug(String.format("%s execute %s, read tables:%s, write tables:%s", userName, context.getCommand(), readTables, writeTables));

privDataProvider.checkHivePriv(userName, readTables, writeTables);

}

Hive默认使用HadoopDefaultAuthenticator获取运行hql的用户,并使用其返回的用户进行权限验证。为了使hive可以以代理的模式去运行,我们须要提供自己的authenticator,返回设置的bip.user作为真正的hql运行者。下面配置可设置authenticator:

<property>

<name>hive.security.authenticator.manager</name>

<value>com.pplive.bip.hive.auth.Authenticator</value>

<description>bip user authenticator</description>

</property>

眼下admin通过在hive命令行定义bip.user变量启动hive可进入代理模式:

Hive -d bip.user=xxx 或 hive --define bip.user=xxx

Memo

Hive也提供group权限管理功能,在role已经可以满足需求的情况下不建议进行group相关的权限管理。

通过对hive权限管理的改进,能够防止非法用户对没有权限的表、列进行读写删除操作,同一时候能够对运行的hql进行审计,分析hql的运行时间和频率以及hive表的使用频率。

基于MetaData的权限管理相关的权限信息是存储在hive metadata中,事实上也能够将权限信息存储在我们自己db中,这样就能自己把握权限控制的规则。不用开启hive的权限控制,在SemanticAnalyze之后基于我们的规则对hql所读写的表、字段进行控制。

然而,即使是改进后的hive权限依旧较弱,由于hive全部权限相关的信息都存储在MetaData中。仅仅要用户知道了存储MetaData的Mysqlusername和password就能够随意改动权限MetaData, 而连接MetaData Mysql的信息在hive-site.xml中是明文配置的,因此最安全权限是基于Storage底层的訪问控制。

Hive权限之改进的更多相关文章

  1. Winform开发框架之权限管理系统改进的经验总结(4)-一行代码实现表操作日志记录

    在前面介绍了几篇关于我的权限系统改进的一些经验总结,本篇继续这一系列主体,介绍如何一行代码实现重要表的操作日志记录.我们知道,在很多业务系统里面,数据是很敏感的,特别对于一些增加.修改.删除等关键的操 ...

  2. Winform开发框架之权限管理系统改进的经验总结(2)-用户选择界面的设计

    在上篇总结随笔<Winform开发框架之权限管理系统改进的经验总结(1)-TreeListLookupEdit控件的使用>介绍了权限管理模块的用户管理部分,其中主要介绍了其中的用户所属公司 ...

  3. Hive权限控制和超级管理员的实现

    Hive权限控制 Hive权限机制: Hive从0.10可以通过元数据控制权限.但是Hive的权限控制并不是完全安全的.基本的授权方案的目的是防止用户不小心做了不合适的事情. 先决条件: 为了使用Hi ...

  4. hive权限管理之实践

    一.实践心得 主要参考这个连接,里面说得也挺详细的.http://www.aboutyun.com/thread-12549-1-1.html 总结如下: 1.若赋予用户某个表的权限,查用户在该表所属 ...

  5. hive权限配置

    基于CDH5.x的Hive权限配置 1.打开权限控制,默认是没有限制的 set hive.security.authorization.enabled=true; 2.配置默认权限 hive.secu ...

  6. Hive记录-hive权限控制

    在使用Hive的元数据配置权限之前必须现在hive-site.xml中配置两个参数,配置参数如下: <property> <name>hive.security.authori ...

  7. Hive权限管理

    最近遇到一个hive权限的问题,先简单记录一下,目前自己的理解不一定对,后续根据自己的理解程度更新 一.hive用户的概念 hive本身没有创建用户的命令,hive的用户就是Linux用户,若当前是用 ...

  8. HADOOP docker(七):hive权限管理

    1. hive权限简介1.1 hive中的用户与组1.2 使用场景1.3 权限模型1.3 hive的超级用户2. 授权管理2.1 开启权限管理2.2 实现超级用户2.3 实现hiveserver2用户 ...

  9. Hive权限管理(十)

    Hive权限管理 1.hive授权模型介绍 (1)Storage Based Authorization in the Metastore Server 基于存储的授权 - 可以对Metastore中 ...

随机推荐

  1. Connect the Cities--hdoj

    Connect the Cities Time Limit : 2000/1000ms (Java/Other)   Memory Limit : 32768/32768K (Java/Other) ...

  2. java javax.annotation.Resource注解的详解

    转自:https://www.jb51.net/article/95456.htm java 注解:java javax.annotation.Resource  当我们在xml里面为类配置注入对象时 ...

  3. [Plugin] JQuery.uploadify上传文件插件的使用详解For ASP.NET

    URL:http://www.cnblogs.com/xiaopin/archive/2010/01/21/1653523.html 今天下午整理文件上传的例子,感觉收集到的例子都很不人性话,后来找到 ...

  4. [jqpolt] formatString 日期格式化列表

    // 年 %Y   2008 %y   08 // 月 %m   09 %#m   9 %B   September %b   Sep // 日 %d   05 %#d   5 %e   5 %A   ...

  5. [XJOI]noip44 T3还有这种操作

    还有这种操作 ttt 最近在学习二进制, 他想知道小于等于N的数中有多少个数的二进制表示中有偶数个1. 但是他想了想觉得不够dark,于是他增加了若干次操作,每次操作会将一个区间内的0变1 , 1变0 ...

  6. JS form 表单收集 数据 formSerialize

    做后台系统的时候通常会用到form表单来做数据采集:每次一个字段一个字段的去收集就会很麻烦,网站也有form.js插件可以进行表单收集,并封装成一个对象,通过ajax方法传到后台:现在介绍一种直觉采集 ...

  7. C#中图片转换为Base64编码,Base64编码转换为图片

    #region 图片转为base64编码的字符串 public string ImgToBase64String(string Imagefilename) { try { Bitmap bmp = ...

  8. 个人网站html5雪花飘落代码JS特效下载

    如何给自己的网站/页面添加雪花代码.特效呢?有的网站配合自己的主题模板添加雪花飘落效果挺好看的.特别是与冬天季节相关的主题,很多的博客空间都加了雪花的效果.在网上搜索了几种雪花效果,做了简单的修改,在 ...

  9. javascript中经典继承的兼容写法

    function create(obj) { // 2.1 判断浏览器支持不支持 Object.create // 如果支持,直接使用 Object.create // 如果不支持,自己实现 if(O ...

  10. js 根据固定位置获取经纬度--腾讯地图

    1.首先引入jq 和 腾讯地图js <script src="../js/jQuery.js"></script> <script charset=& ...