介绍

Hadoop中的安全机制包括认证和授权。而Hadoop RPC中采用SASL(Simple Authentication and Security Layer,简单认证和安全层)进行安全认证,具体认证方法涉及Kerberos和DIGEST-MD5两种。

在这种机制中,Kerberos用于在客户端和服务器端之间建立一条安全的网络连接,之后客户端可通过该连接从服务器端获取一个密钥。由于该密钥仅有客户端和服务器端知道,因此,接下来客户端可使用该共享密钥获取服务的认证。使用共享密钥进行安全认证(使用DIGEST-MD5协议)有多方面的好处:由于它只涉及认证双方而不必涉及第三方应用(比如Kerberos中的KDC),因此安全且高效;客户端也可以很方便地将该密钥授权给其他客户端,以让其他客户端安全访问该服务。我们将基于共享密钥生成的安全认证凭证称为令牌(Token)。在Hadoop中,所有令牌主要由identifier和password两部分组成,其中,identifier包含了该令牌中的基本信息,而password则是通过HMAC-SHA1作用在identifier和一个密钥上生成的,该密钥长度为20个字节并由Java的SecureRamdom类生成。Hadoop中共有三种令牌:委托令牌、块访问令牌和作业令牌。

委托令牌(Delegation Token)

授权令牌主要用于NameNode为客户端进行认证。当客户端初始访问NameNode时,如果通过Kerberos认证,则NameNode会为它返回一个密钥,之后客户端只需借助该密钥便可进行NameNode认证。为了防止重启后密钥丢失,NameNode将各个客户端对应的密钥持久化保存到镜像文件中。默认情况下,所有密钥每隔24小时更新一次,且NameNode总会保存前7小时的密钥以保证之前的密钥可用。

委托令牌是客户端和NameNode之间的共享密钥,可以使用DIGEST-MD5机制进行RPC验证。委托令牌的格式如下:

令牌同时具有到期日期和最大发行日期。 令牌将在到期日期后到期,但即使过期到最大发布日期也可以更新。在对NameNode进行任何初始Kerberos身份验证后,客户端可以请求委托令牌。令牌还具有指定的令牌更新器。令牌更新程序在代表用户更新令牌时使用其Kerberos凭据进行身份验证。委托令牌最常见的用途是MapReduce作业,在这种情况下,客户端将JobTracker指定为更新程序。委托令牌由NameNode的URL键入,并存储在JobTracker的系统目录中,以便将它们传递给任务。下图是客户首次与Namenode之间的交互。

数据块访问令牌(Block Access Token)

数据块访问令牌主要用于DataNode、SecondaryNameNode和Balancer为客户端存取数据块进行认证。当客户端向NameNode发送文件访问请求时,如果通过NameNode认证以及文件访问权限检查,则NameNode会将该文件对应的数据块位置信息和数据块访问密钥发送给客户端,客户端需凭借数据块访问密钥才可以读取一个DataNode上的数据块。NameNode会通过心跳将各个数据块访问密钥分发给DataNode、SecondaryNameNode和Balancer。需注意的是,数据块访问密钥并不会持久化保存到磁盘上,默认情况下,它们每隔10小时更新一次并通过心跳通知各个相关组件。

块访问令牌的格式如下,其中keyID标识用于生成令牌的私钥,accessMode可以是READ,WRITE,COPY,REPLACE的任意组合。

用户向Namenode申请访问文件的过程如下:

作业令牌(Job Token)

作业令牌主要用于TaskTracker对任务进行认证。用户提交作业到JobTracker后,JobTracker会为该作业生成一个作业令牌,并写到该作业对应的HDFS系统目录下。当该作业的任务调度到各个TaskTracker上后,将从HDFS上获取作业令牌。该令牌可用于任务与TaskTracker之间进行相互认证(比如Shuffle阶段的安全认证)。与数据块访问令牌一样,作业令牌也不会持久化保存到内存中,一旦JobTracker重新启动,就会生成新的令牌。由于每个作业对应的令牌已经写入HDFS,所以之前的仍然可用。

基于令牌的认证机制的优势

相比于单纯使用Kerberos,基于令牌的安全认证机制有很多优势,具体如下。

❑性能:在Hadoop集群中,同一时刻可能有成千上万的任务正在运行。如果我们使用Kerberos进行服务认证,则所有任务均需要KDC中AS提供的TGT,这可能使得KDC成为一个性能瓶颈,而采用令牌机制则可避免该问题。

❑凭证更新:在Kerberos中,为了保证TGT或者服务票据的安全,通常为它们设置一个有效期,一旦它们到期,会对其进行更新。如果直接采用Kerberos验证,则需要将更新之后的TGT或者服务票据快速推送给各个Task,这必将带来实现上的烦琐。如果采用令牌,当令牌到期时,只需延长它的有效期而不必重新生成令牌。此外,Hadoop允许令牌在过期一段时间后仍可用,从而为过期令牌更新留下足够时间。

❑安全性:用户从Kerberos端获取TGT后,可凭借该TGT访问多个Hadoop服务,因此,泄露TGT造成的危害远比泄露令牌大。

❑灵活性:在Hadoop中,令牌与Kerberos之间没有任何依赖关系,Kerberos仅仅是进行用户身份验证的第一道防线,用户完全可以采用其他安全认证机制替换Kerberos。因此,基于令牌的安全机制具有更好的灵活性和扩展性。

Hadoop安全机制之令牌的更多相关文章

  1. Hadoop学习笔记—3.Hadoop RPC机制的使用

    一.RPC基础概念 1.1 RPC的基础概念 RPC,即Remote Procdure Call,中文名:远程过程调用: (1)它允许一台计算机程序远程调用另外一台计算机的子程序,而不用去关心底层的网 ...

  2. Hadoop阅读笔记(六)——洞悉Hadoop序列化机制Writable

    酒,是个好东西,前提要适量.今天参加了公司的年会,主题就是吃.喝.吹,除了那些天生话唠外,大部分人需要加点酒来作催化剂,让一个平时沉默寡言的码农也能成为一个喷子!在大家推杯换盏之际,难免一些画面浮现脑 ...

  3. hadoop序列化机制与java序列化机制对比

    1.采用的方法: java序列化机制采用的ObjectOutputStream 对象上调用writeObject() 方法: Hadoop 序列化机制调用对象的write() 方法,带一个DataOu ...

  4. 一文了解 Hadoop 运行机制

    大数据技术栈在当下已经是比较成熟的了,Hadoop 作为大数据存储的基石,其重要程度不言而喻,作为一个想从 java 后端转向大数据开发的程序员来说,打好 Hadoop 基础,就相当于夯实建造房屋的地 ...

  5. Hadoop序列化机制及实例

    序列化 1.什么是序列化?将结构化对象转换成字节流以便于进行网络传输或写入持久存储的过程.2.什么是反序列化?将字节流转换为一系列结构化对象的过程.序列化用途: 1.作为一种持久化格式. 2.作为一种 ...

  6. Hadoop心跳机制源码分析

    正文: 一.体系背景 首先和大家说明一下:hadoop的心跳机制的底层是通过RPC机制实现的,这篇文章我只介绍心跳实现的代码,对于底层的具体实现,大家可以参考我的另几篇博客: 1. hadoop的RP ...

  7. 【Hadoop】Hadoop HA机制要点

    Hadoop HA 机制架构.要点.原理: 需要的机器(规划): 至少三台机器 HOSTNAME IP 安装软件ZK HADOOP进程 HADOOP-NODE1 10.20.0.11 JDK,HADO ...

  8. Hadoop RPC机制的使用

    一.RPC基础概念 1.1 RPC的基础概念 RPC,即Remote Procdure Call,中文名:远程过程调用: (1)它允许一台计算机程序远程调用另外一台计算机的子程序,而不用去关心底层的网 ...

  9. 每天收获一点点------Hadoop RPC机制的使用

    一.RPC基础概念 1.1 RPC的基础概念 RPC,即Remote Procdure Call,中文名:远程过程调用: (1)它允许一台计算机程序远程调用另外一台计算机的子程序,而不用去关心底层的网 ...

随机推荐

  1. JavaMail邮件发送不成功的那些坑人情况及分析说明

    [我的Segmentfault原文]https://segmentfault.com/a/1190000008030346 前言   JavaMail的使用本身并不难,网上有不少案例,简单易懂,而且有 ...

  2. 【转】nginx配置:location配置方法及实例详解

    location匹配的是nginx的哪个变量? $request_uri location的匹配种类有哪些? 格式 location [ 空格 | = | ~ | ~* | !~ | !~* ] /u ...

  3. mac 下安装securecrt

    下载文件链接中附带的文件. 1.先找到secureCRT的包内容,进入MACOS文件夹.替换crack中的secureCRT文件. 2.断网.进入软件,显示你的验证码过期.点continue.选择手动 ...

  4. HTML5微数据

    本篇文章是一个纯搬运贴,原博主是在是做的太详细了 原贴地址:http://www.zhangxinxu.com/wordpress/2011/12/html5扩展-微数据-丰富网页摘要/ 一.微数据是 ...

  5. 时间相关库<ctime>解析

    原创作品,转载请注明来源:http://www.cnblogs.com/shrimp-can/p/5649487.html 一.定义的类型 1.clock_t:时钟类型 2.size_t:unsign ...

  6. autoLayer:一基本布局

    我不会写博客,写的不好请物见怪,这个autoLayer我就直接上图了: 本人环境:IDE(Xcode6)SDK(IOS8) 准备工作:找一个横图psd(由于我不会切图,我只会简单的描述一下图片处理), ...

  7. centos6.7编译安装mysql5.7.17

    centos6.7编译安装mysql5.7.17 2017-03-24 09:57:15 提示:mysql5.7.17和之前5.56以前的版本安装不一样,需要用cmake 另外,看本文档的mysql编 ...

  8. GitHub中最强大的iOS Notifications和AlertView框架,没有之一!

    FFToast是一个非常强大的iOS message notifications和AlertView扩展.它可以很容易实现从屏幕顶部.屏幕底部和屏幕中间弹出一个通知.你可以很容易的自定义弹出的View ...

  9. (转)开源分布式搜索平台ELK(Elasticsearch+Logstash+Kibana)入门学习资源索引

    Github, Soundcloud, FogCreek, Stackoverflow, Foursquare,等公司通过elasticsearch提供搜索或大规模日志分析可视化等服务.博主近4个月搜 ...

  10. 爱回收jd图标

    http://jd.aihuishou.com/images/icons.png http://misc.360buyimg.com/201007/skin/df/i/bg_hotsale.gif 来 ...