背景及目的 方便和辅助MaxCompute的project owner或安全管理员进行project的日常安全运维,保障数据安全. MaxCompute有安全模型,DataWorks也有安全模型,当通过DataWorks使用MaxCompute,而DataWorks的安全模型不满足业务安全需求时,合理的将两个安全模型结合使用就尤其重要. 安全模型 MaxCompute安全模型 安全体系 MaxCompute 多租户的数据安全体系,主要包括如下内容: 用户认证.支持 云账号 和 RAM 账号 两种…

通过<MaxCompute安全管理-基础篇>了解到MaxCompute和DataWorks的相关安全模型.两个产品安全方面的关联,以及各种安全操作后,本篇主要给出一些安全管理案例,给安全管理的成员作为参考. 项目创建案例 前面了解了MaxCompute和DataWorks的安全模型以及两个产品之间的权限联系,本章节我们以常见2个基础业务需求来介绍项目创建和管理. 基本ETL开发业务项目 场景描述:多人协同开发,成员责任划分明确,需走正常的开发.调试.发布流程,生产数据查看须严格控制. 分析:…

使用MaxCompute Console的同学,可能都使用过MaxCompute安全相关的命令.官方文档上有详细的MaxCompute安全指南,并给出了安全相关语句汇总.   简而言之,权限管理.列级别访问控制.项目空间安全配置以及跨项目空间的资源分享都属于 MaxCompute 安全命令相关的范畴.   再直白一点,以下列关键字开头的命令,都是MaxCompute安全相关操作命令:   GRANT/REVOKE ... SHOW GRANTS/ACL/PACKAGE/LABEL/ROLE/PR…

jdbc驱动,下载jdbc14.jar文件放入   pdi-ce-5.3.0.0-213\data-integration\libswt\win64里 之后重启kettle即可 jdbc14.jar文件下载网盘地址为 http://pan.baidu.com/s/1ntmV5Ux…

0. 概述 本文档面向需要使用MaxCompute Spark进行开发的用户使用.本指南主要适用于具备有Spark开发经验的开发人员. MaxCompute Spark是MaxCompute提供的兼容开源的Spark计算服务,它在统一的计算资源和数据集权限体系之上,提供Spark计算框架,支持用户以熟悉的开发使用方式提交运行Spark作业,以满足更丰富的数据处理分析场景. 本文将重点介绍MaxCompute Spark能够支撑的应用场景,同时说明开发的依赖条件和环境准备,重点对Spark作业开发…

jdbc连接时报如下错误: Error connecting to database [k] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the database Error connecting to database: (using class org.apache.hive.jdbc.HiveDriver) Failed to open…

5.5.1 你最近的项目里用到的是哪个数据?或你用过哪些数据库?或你对哪个数据库最熟悉? 通过这个问题,我们将会确认候选人是否在项目里用过数据库或JDBC. 5.5.2 你有没有建过表?或修改表里的字段?或有没有建过索引? 这个属于基本的对数据库的操作问题. 5.5.3 你有没有存储过程的使用经验?如果要通过存储过程的参数返回值,该怎么做? 我们在本章的5.1.6部分讲过关于存储过程的知识点,这里大家可以去了解下存储过程的语法,不过大家更应当去了解存储过程的优缺点,然后向面试官说明用到(或不用)…

快速入门step by step MaxCompute Studio 创建完成 MaxCompute Java Module后,即可以开始开发Graph了. 代码示例 在examples目录下有graph的一些代码示例,可参考示例熟悉Graph程序的结构. 编写Graph 在module的源码目录即src>main >javanewMaxCompute Java. 选择GraphLoader/Vertex等类型,NameOK**,模板会自动填充框架代码,可在此基础上继续修改. 本地调试Grap…

概述 现在越来越多的技术架构下会组合使用MaxCompute和TableStore,用MaxCompute作大数据分析,计算的结果会导出到TableStore提供在线访问.MaxCompute提供海量数据计算的能力,而TableStore提供海量数据高并发低延迟读写的能力. 将MaxCompute内数据导出至TableStore,目前可选的几种主要途径包括: 自己编写工具:使用MaxCompute SDK通过Tunnel读取表数据,再通过TableStore SDK再写入数据.DataX:自己在…

JDBC(Java数据库连接性)是Java API,用于管理与数据库的连接,发出查询和命令以及处理从数据库获得的结果集.JDBC在1997年作为JDK 1.1的一部分发布,是为Java持久层开发的首批组件之一. JDBC问题基础知识 JDBC问题是指比较宽泛的,体现在JDBC层面的问题,造成JDBC问题的原因主要是三个方面:1.应用程序和应用程序框架问题:2.JDBC业务功能问题:3.数据库内核问题.问题表现可以分为三个大的方面:1.执行报错,JDBC抛出异常:2.执行效率低,耗时异常:3.特性…