基于MaxCompute的大数据安全方案
简介:随着法律的完善,数据安全,信息安全,网络安全,升级成国家安全,所以数据安全不管对用户,还是对公司也都会变的越来越重要。做为大数据云数仓解决方案的领导者,阿里云MaxCompute在安全体系上也做了很多特性,本文给大家简单介绍下MaxCompute关于数据安全的一些能力。
随着法律的完善,数据安全,信息安全,网络安全,升级成国家安全,所以数据安全不管对用户,还是对公司也都会变的越来越重要。做为大数据云数仓解决方案的领导者,阿里云MaxCompute在安全体系上也做了很多特性,本文给大家简单介绍下MaxCompute关于数据安全的一些能力。
安全体系介绍
安全体系不是一个系统,是一系列的系统联合才能做到大数据平台的数据安全要求,主要包括:
- 事前准备,包括数据打标,白/黑名单,权限分配,加密算法和脱敏算法准备。
- 事中处理,包括数据加密/解密,白名单过滤,数据扫描,数据实时告警。
- 事后审计,包括数据使用日志审计,数据离线报表监控等。
安全体系架构
数据安全体系不仅需要各个系统配合使用,同时也需要不同部门进行流程化管理,让数据能在合理授权下使用:
- 其中就会涉及到数据合规部门,对数据进行打标,对数据规则进行配置,权限设置以及白名单管理等工作;
- 大数据平台要按照合规人员设置的规则自动化对数据进行加密或者脱敏,然后提供给数据使用者使用;
- 数据安全人员同时要对每个敏感数据的使用都需要有实时的数据监控,以及数据事后的定时审计。
本文主要介绍阿里大数据平台的数据存储加密和数据脱敏两块,目前阿里大数据平台MaxCompute联合KMS平台在对数据上云时可以对数据进行加密存储,支持AES256、AESCTR和RC4算法,在客户使用时自动解密,做到客户无感知的数据保护。
同时MaxCompute联合Dataworks和数据安全保护伞做到敏感数据脱敏使用,用户可以在数据保护伞里对数据进行打标配置,风险规则定义,脱敏规则配置以及白名单设计等操作,MaxCompute会自动对已经打标的数据,按照脱敏规则对指定的敏感数据进行脱敏显示。
适用场景
场景一:客户个人信息保护
个人信息保护场景,随着相关法律的出台,很多游戏公司都要需要录入个人身份证号等敏感信息,如果客户的个人信息泄露是很严重的数据安全事故,所以类似身份证号等个人信息的保护就变的非常重要,这些信息只有客户自己可以使用,或者客户授权的情况下才可以使用,但是在企业运营时,需要对这些信息进行加工,匹配等,所以在所有加工过程中都需要加密或者脱敏操作。
场景二:企业内部信息保护
大部分公司内部有财务,个人薪资等很多敏感数据,但是公司正常运营,需要这些数据在大数据平台进行加工计算,最后输出报表,在中间加工过程中,包括数据研发人员,测试人员,产品经理等,都不能触碰明文数据,需要对数据进行脱敏操作。
适合客群
本文适合企业已经使用了Maxcompute产品的数据管理人员,数据治理人员,数据研发人员以及数据安全合规人员等。
数据加密
MaxCompute支持通过密钥管理服务KMS(Key Management Service)对数据进行加密存储,提供数据静态保护能力,满足企业监管和安全合规需求。
前提条件
- 阿里云服务账号;
- 已经开启KMS密钥管理服务。
操作步骤
- 进入密钥管理服务开通页,选中密钥管理服务服务协议,单击立即开通,开通KMS服务。
2.登录DataWorks控制台,在左侧导航栏,单击工作空间列表。
3.在工作空间列表页面上方选择区域后,单击创建工作空间。在创建工作空间面板,配置基本配置信息,单击下一步,详情请参见创建项目空间。
4.在创建工作空间面板的选择计算引擎服务区域,选中MaxCompute。
5.在请进行ODPS服务账号授权对话框,单击授权。
6.在新打开的云资源访问授权页面,单击同意授权。
7.返回请进行ODPS服务账号授权对话框。关闭请进行ODPS服务账号授权对话框,在创建工作空间面板的选择计算引擎服务区域,重新选中MaxCompute,单击下一步。
8.在创建工作空间面板,配置引擎详情信息。选中加密,开启数据加密功能。以创建简单模式的工作空间为例。
9.单击创建工作空间,完成创建。开启数据加密功能后,MaxCompute会自动完成项目数据读写过程中的加密或解密操作。
数据脱敏
数据保护伞是一款数据安全管理产品,为您提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据审计、数据溯源等功能。接下去为您介绍如何开通、使用数据保护伞。
前提条件
- 阿里云服务账号;
- 已经开启Dataworks空间。
操作步骤
- 登录DataWorks控制台,进入设置,启用页面查询内容脱敏:
2.单击左上方的图标,选择全部产品 > 数据治理 > 数据保护伞。
- 数据分级分类设置,系统会字段1000+数据分类,在没有特殊要求的情况下,大部分情况下可以用默认分类,同时也支持自定义客户自己的分级分类。
- 数据识别类型,系统已经自带很多1000+识别类型,没有特殊要求,可以使用自带识别自动生成数据识别模型,同时也支持通过您提供的样本字段,进行模型训练,帮助您寻找目标字段的内容特征,生成相应的规则模型。
- 数据脱敏规则定义,用户可以给指定的数据字段类型进行定义脱敏规则,目前支持脱敏方式有假名,Hash,掩盖三种。
6.数据查询会进行自动掩盖:
白名单
目前数据保护伞对于数据脱敏部分,支持给用户添加白名单,如果在白名单里的客户,可以无视脱敏规则,可以查到明文数据。
数据发现
目前数据保护伞对于数据脱敏部分,支持系统自动扫描数据,并把风险统计数据显示出来。
数据风险识别
目前数据保护伞对于数据脱敏部分,支持用户自定义风险行为,并对风险进行统一查询显示。
数据审计
目前数据保护伞对于数据脱敏部分,用户可以查询数据风险处理情况,对数据安全处理进行审计。
总结
本文只是对大数据平台的安全性做了简单的梳理,很多细节因为篇幅没有细讲,有兴趣的同学可以参考官方文档。
- 数据加密配置
- 数据脱敏配置
目前阿里大数据平台已经对数据的存储加密,以及数据脱敏显示上做了比较多的能力,但是在数据还不能做到列级,行级甚至单元格级别的加密;在数据识别扫描上也不支持手动根据自己的规则进行扫描;在数据全渠道接入脱敏也没有覆盖所有Region;在数据安全使用上,数据监控以及数据审计上做的也不是很完善等等问题,后续在安全上加入更多能力,让用户可以安心,放心,省心的在阿里云大数据平台上使用数据。
常见问题
- Maxcompute数据存储加密后,是否可以被hologres外表访问?
答:是可以的,但是在存储加密时需要选用自带密钥的加密方式。
- Maxcompute数据存储加密后,需要用户手工解密吗?
答:不需要,系统会在查出来时自动解密。
- 在数据保护伞中已经配置了数据分类,脱敏规则,为什么脱敏还不生效?
答:先要在Dataworks的设置中开启页面查询内容脱敏。
原创:阿里云智能 漠凡
本文为阿里云原创内容,未经允许不得转载。
基于MaxCompute的大数据安全方案的更多相关文章
- 【大数据安全】基于Kerberos的大数据安全验证方案
1.背景 互联网从来就不是一个安全的地方.很多时候我们过分依赖防火墙来解决安全的问题,不幸的是,防火墙是假设"坏人"是来自外部的,而真正具有破坏性的攻击事件都是往往都是来自于内部的 ...
- 唱吧基于 MaxCompute 的大数据之路
使用 MaxCompute之前,唱吧使用自建体系来存储处理各端收集来的日志数据,包括请求访问记录.埋点数据.服务器业务数据等.初期这套基于开源组件的体系有力支撑了数据统计.业务报表.风控等业务需求.但 ...
- 基于MaxCompute的媒体大数据开放平台建设
摘要:随着自媒体的发展,传统媒体面临着巨大的压力和挑战,新华智云运用大数据和人工智能技术,致力于为媒体行业赋能.通过媒体大数据开放平台,将媒体行业全网数据汇总起来,借助平台数据处理能力和算法能力,将有 ...
- 星环大数据安全组件Guardian与hadoop自带的安全组件区别
在进行讲解之前,先带大家学习下hadoop关于hdfs自己的安全如何实现的--------------------------- 名词: ACL-访问控制列表(Access Control List, ...
- 【Hadoop】Apache Eagle 简介--分布式实时 Hadoop 数据安全方案
eBay公司隆重宣布正式向开源业界推出分布式实时安全监控引方案 - Apache Eagle ,该项目已正式加入Apache 称为孵化器项目.Apache Eagle提供一套高效分布式的流式策略引擎, ...
- 基于MaxCompute打造轻盈的人人车移动端数据平台
摘要: 2019年1月18日,由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学,本次技术沙龙上,人人车大数据平台负责人吴水永从人人车 ...
- 基于MaxCompute的数仓数据质量管理
声明 本文中介绍的非功能性规范均为建议性规范,产品功能无强制,仅供指导. 参考文献 <大数据之路——阿里巴巴大数据实践>——阿里巴巴数据技术及产品部 著. 背景及目的 数据对一个企业来说已 ...
- 基于Ruby的watir-webdriver自动化测试方案与实施(二)
接着基于Ruby的watir-webdriver自动化测试方案与实施(一) http://www.cnblogs.com/Javame/p/4159360.html 继续 ... ... 回顾 软 ...
- 基于Ruby的watir-webdriver自动化测试方案与实施(一)
基于Ruby的watir-webdriver自动化测试方案与实施(五) 基于Ruby的watir-webdriver自动化测试方案与实施(四) 基于Ruby的watir-webdriver自动 ...
- 基于ERNIELayout&pdfplumber-UIE的多方案学术论文信息抽取
本项目链接:https://aistudio.baidu.com/aistudio/projectdetail/5196032?contributionType=1 基于ERNIELayout& ...
随机推荐
- 杂谈之WEB前端工程师身价
了解javascript语言规范么?+1000 知道各浏览器的css差异么?+1000 javascript差异呢?+1000 知道html各标签的含义并很好地运用么?+1000 知道如何跨浏览器解决 ...
- 3DCAT实时云渲染赋能聚好看科技,打造3D沉浸式互动视频云平台
随着5G.云计算.XR等技术的发展,3D沉浸式互动视频已经成为了新一代的数字媒体形式,为各行各业带来了新的创新机遇和价值.然而,要实现高效.高质.高效率的3D沉浸式互动视频生产和传播,还需要强大的技术 ...
- 无力吐槽,uniapp项目外包接单碰上了这样的开发人员
随着疫情期形式的不断变化,线上线下各个行业都受到冲击.2020年我在家歇息了近4个月:跟很多人一样这一年我失业了,那段时间真的很迷茫,年龄也已过30,加上网上各种"开发人员35岁" ...
- C#的播放资源文件里的音频例子 - 开源研究系列文章
今天无聊,想起原来开发的待办列表TodoList里还缺个提醒声音,于是就添加了提供声音模块代码.然后想着记录一下,让更多的读者能够复用这个模块代码,于是就有了此博文.这个例子只是用于播放资源文件里的w ...
- 一文搞懂JavaEE的接口
在Java EE(Java Enterprise Edition)开发环境中,编程意义上的"接口"(interface)和API接口虽然都涉及接口的概念,但它们属于不同层面的术语. ...
- vue项目 nginx部署
nginx.conf中的server配置片段 server { listen 8080 ;#默认端口是80,如果端口没被占用可以不用修改 server_name localhost; #charset ...
- Linux实现远程登录基本操作
Linux配置远程登录 1.实验目的 通过配置redhat的静态IPV4,通过xshell登录,实现远程指令控制.在实践过程中,了解linux的基本结构和操作,能够初步地使用linux的常用软件.目的 ...
- CSP:Object as Point同会议论文,相似思想用于人脸和行人检测 | CVPR 2019
CSP将目标定义为中心点和尺寸,通过网络直接预测目标的中心和寸尺,相对于传统的RCNN类型检测算法轻量化了不少.整体思想与Object as Points撞车了,真是英雄所见略同 来源:晓飞的算法 ...
- KingbaseES V8R6 运维案例 -- sys_filenode.map故障案例
案例说明: 数据库下的sys_filenode.map文件被破坏,导致此数据库无法连接访问. Nail表(内核系统表)Relfilenode的存储机制: 经过研究发现,在数据目录里存在着pg_fi ...
- UE4接口
官方链接 目的 不同Actor对象具有同一个功能,比如角色按F键可以实现开门,开车,与NPC沟通等操作.其本质就是让所有的Actor对象除了继承UObject以外,再继承这个接口类. 接口的声明 宏的 ...