监控和审计IBM InfoSphere BigInsights和Cloudera Hadoop的访问权限

http://www.ithov.com/server/124456.shtml

您也将学习一个仅适用于 IBM InfoSphere BigInsights 的快速启动监控实现。

大数据骚动主要集中在支持极限容量、速度和多样性的基础架构和该基础架构支持的实时分析功能中。虽然像 Hadoop 这样的大数据环境是相对较新的，但事实是在大数据环境中数据安全问题的关键是预先解决。哪里有数据，哪里就有可能存在隐私泄密、非授权访问或特权用户的不恰当访问。

整个大数据环境和更多传统的大数据管理架构中应该执行相同的合规性要求，没有理由因为技术尚不成熟、正在改进就减弱数据安全性。事实上，随着大数据环境吸收的数据越来越多，组织将面临极大的存储库（数据保存在其中）风险和威胁。

如果您在组织中负责数据安全，则可能需要回答以下问题，比如：

•谁正在运行特定的大数据请求？他们运行的是哪些 map-reduce 作业？他们试图下载所有的敏感数据吗？或者这是获取客户洞察的正常市场营销查询吗？
•是否具有可能是因为黑客试图通过算法访问敏感数据而造成的大量文件权限异常？
•这些作业是授权访问该数据的程序列表的一部分吗？或者已经开发了一些新应用程序而您之前并没有意识到？
您所需要的是能够将大数据应用程序和分析集成到一个现有数据安全基础架构中，而不是依赖自己开发的脚本和监控程序，自己开发脚本和监控程序可能既费力又容易出错，且常常会受到滥用。

本文将带您了解如何扩展 IBM InfoSphere Guardium V9（一个综合的数据活动监控和合规性解决方案）来包括 Hadoop 生态系统的访问监控和报告。

尽管本文包含了 InfoSphere Guardium 的高级概述，但并没有介绍如何安装和配置 InfoSphere Guardium Collector。本文将介绍如何配置 InfoSphere Guardium 以监控支持的 Hadoop 活动，并将其发送到 InfoSphere Guardium Collector 供安全分析师编制报告。您将会看到几个开箱即用的报告示例，以帮助您快速入门。

InfoSphere Guardium 简介

IBM InfoSphere Guardium 解决方案通过轻量级软件探测器连续监控数据库事务，如图 1 所示。

图 1. InfoSphere Guardium Data 活动监控

这些探测器（称为 S-TAP，用于软件）在操作系统内核级别无需依靠数据库审计日志即可监控所有数据库事务（包括特权用户的事务），这样可以确保职责分离。S-TAP 也不需要对数据库或其应用程序进行任何更改。

探测器将事务转发给网络上的一个加强的收集器（一个设备），在其中与之前定义的策略进行比较来探测违规操作。该系统可响应各种基于策略的行动，包括生成警报。

InfoSphere Guardium 支持各种各样的部署，从而支持非常大的且在地理上分散的基础架构。因为本文只是对 InfoSphere Guardium 进行了简单介绍，您可以查看 参考资料 部分来获取更多关于 InfoSphere Guardium 功能的链接。注意，并不是所有功能都可用于所有数据资源。

使用 InfoSphere Guardium 进行 Hadoop 监控的好处

使用 InfoSphere Guardium 可通过提供有针对性的、可操作的信息极大地简化您的审计就绪过程。试想一下，如果您目前的 Hadoop 审计就绪计划是基于压缩日志数据的，那么希望您永远不需要它，仅从时效性而言，您可能无法满足很多审计需求。鉴定分析毫无疑问是耗时的，而且需要浪费资源自己开发脚本，其实您更愿意将这些资源用在通过 Hadoop 创建业务优势上。

有了 InfoSphere Guardium，很多繁重的任务就可以交给您了。定义安全策略指定需要保存什么数据以及如何应对策略违规。数据事件直接写入 InfoSphere Guardium 收集器，特权用户甚至都没有机会访问并隐藏他们的踪迹。开箱即用的报告可以让您立即开始快速运行 Hadoop 监控，而且这些报告可以很容易通过定制来符合您的审计需求。

InfoSphere Guardium S-TAP 最初的设计目的是以较小的开销提高性能；毕竟，S-TAP 也用于监控产品数据库环境。有了 Hadoop，您将不太可能看到超过 3% 的开销，这对于大多数 HAdoop 工作负载来说微乎其微。

最后，InfoSphere Guardium 提供贯穿整个 Hadoop 堆栈的监控功能，从用户界面直到存储，如图 2 所示。

图 2. 整个 Hadoop 堆栈的数据活动监控的重要性

为什么这是最重要的？尽管 Hadoop 中的很多活动都分解成 MapReduce 和 HDFS 了，但是在这个级别上，您可能无法知道堆栈中级别更高的用户真正想做的是什么，或者甚至不知道用户是谁。这类似于显示一些磁盘段 I/O 操作，而不是一个数据库的审计跟踪。因此，只有提供不同级别的监控，才有可能理解活动，才能够审计直接通过堆栈中的较低点进入的活动。

Hadoop 活动监控

可被监控的事件包括：

•会话和用户信息。
•HDFS 操作 – 命令（cat、tail、chmod、chown、expunge，等等）。
•MapReduce 作业 - 作业、操作、权限。
•异常，比如授权故障。
•Hive/HBase 查询 - 改变、计数、创建、删除、获取、放置、列出，等等。
以下示例描述了如何在 InfoSphere Guardium 报告中显示一些简单的 Hadoop 命令。

其他页见下URL

原文出自【风信网】，转载请保留原文链接：http://www.ithov.com/server/124456.shtml