MaxCompute问答整理之6月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助,下面咱们正式开始。
1、什么是MaxCompute呢?
MaxCompute是由阿里人自主研发的海量数据处理平台,可以称它为计算引擎。它主要提供针对TB/PB级数据、实时性要求不高的分布式处理能力,主要服务于批量结构化数据的存储和计算。简单来说呢,就是数据要存到MaxCompute里面,需要的时候再取出来。
2、为什么要使用MaxCompute呢?
MaxCompute的特点可以简单总结为5点:
开箱即用在线服务,五分钟即可开通大数据平台。
高效能低成本,持续高效低成本的大数据引擎。
支持多种分布式计算模型,满足不同场景下的技术需求。
生态融合,支持多样数据源、生态工具和标准。
安全可靠,多租户数据安全保障机制。
3、使用MaxCompute需要什么专业技能?
JAVA、SQL、Python。
4、使用MaxCompute需要准备什么开发工具呢?
这里面的工具有三种:
Odpscmd:MaxCompute客户端,喜欢用命令行的同学可以试试。
https://help.aliyun.com/document_detail/27971.html
因为odpscmd是基于JAVA开发的,所以记得配置JRE 1.7以上版本,建议使用JRE1.7/1.8。
MaxCompute Studio:是MaxCompute平台提供的安装在开发者客户端的大数据集成开发环境工具,是一套基于流行的集成开发平台IntelliJ IDEA的开发插件。
https://help.aliyun.com/document_detail/50889.html
DataWorks:是阿里云重要的PaaS平台产品,可以提供数据集成、数据开发、数据管理、数据质量和数据服务等全方位的产品服务,拥有一站式开发管理的界面,DataWorks是基于MaxCompute为核心的计算、存储引擎,可以提供海量数据的离线加工分析、数据挖掘等功能。
https://help.aliyun.com/product/72772.html
我想大家看完上面的内容之后,以及对MaxCompute有了初步的了解和认知,下面我根据MaxCompute开发者社区里面大家碰见的问题做一个简单的整理,我会从初级问题开始一步步整理,大家可以随时查阅。
问题一:怎么获取AccesskeyID和 Access key Secret?
使用MaxCompute服务前,我们需要准备一个阿里云账号。
下面这篇文章可以完美解决大家如何获取AK密钥。
https://help.aliyun.com/document_detail/27803.html
问题二:MaxCompute如何计费?
当我们开通MaxCompute服务时都会碰见一个问题,如何选择自己的计费方式,怎么估算?MaxCompute的产品有两种计费模型,按量付费(先使用再付费)和CU预付费(先购买资源),简单来说就是资源共享和资源独享的区别。
MaxCompute是以project为计费单元,计费项包括存储、计算、数据下载三类。就是分为计算费用(可预付费和后付费)、存储费用(按量后付费)、下载费用(按量后计费)。
问题三:尝试把测试环境rds导入,结果遇到了类似分区,不知道怎么查文档解决?
当我们在MaxCompute上面开始建表,查看分区等操作时,总是会碰见一些各种各样的问题。不怕,咱们有官方文档,有非常详细的解释和介绍。
https://help.aliyun.com/document_detail/27829.html
问题四:EMR和MaxCompute的区别?
很多人都会问有了EMR,为什么还有MaxCompute?下面我给大家解释一下,
EMR是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品,主要是提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、及时查询、机器学习等场景下的大数据解决方案。
MaxCompute是阿里人自主研发的,对外不开源,封装使用起来方便,而且运维成本比较低,两者在使用场景上基本没有差别。
问题五:如何查看odps里面sql执行所消耗的资源?
MaxCompute的计费方式有选择,那我们怎么去查看呢?怎么知道我一条SQL耗费了多少资源,下面这篇文章可以给我们很好的解答。https://help.aliyun.com/document_detail/106521.html
问题六:MaxCompute和DataWorks的权限关系?
通过MaxCompute的安全模型进行权限控制,并不会影响成员在DataWorks任何界面操作。而通过DataWorks的用户角色分配,则有可能影响成员MaxCompute资源权限。
https://help.aliyun.com/document_detail/105012.html
也可以通过视频来了解两者的关系。
https://help.aliyun.com/video_detail/99890.html
问题七:需要从odps数据导入到mysql,但是受到数据保护,无法导出,如何解决?
可以通过关闭数据保护或者配置exception policy 来完成。
https://help.aliyun.com/document_detail/34605.html
问题八:如何赋予操作表的权限?
MaxCompute可以通过授权方式对其中的表、任务、资源等客体的某种操作权限,包括读、写、查看等。
https://help.aliyun.com/document_detail/27935.html
本文作者:亢海鹏
本文为云栖社区原创内容,未经允许不得转载。
MaxCompute问答整理之6月的更多相关文章
- MaxCompute问答整理之8月
本文是基于对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文.希望对大家有所帮助. 问题一.通过数据源数据增量同步后,如何查看某一条数据具体被同步到MaxCompute ...
- MaxCompute问答整理之7月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文.希望对大家有所帮助. 问题一.DataWorks V2.0简单模式和标准模式的区别?公司数仓的数据上云 ...
- MaxCompute问答整理之10月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文.希望对大家有所帮助. 问题一.DataStudio中是否可以通过shell节点调取MaxCompute ...
- MaxCompute问答整理之9月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文.希望对大家有所帮助. 问题一.如何查看information_schema的tables? 在使用OD ...
- MySQL问答整理
1.Mysql中有哪些不同的表格? MyISAM: 基于IASM代码.可以被压缩,支持全文搜索,事务不安全,而且也不支持外键.如果事务回滚将会造成不完全回滚,从而不具备原子性.所以假如忽略事务以及访问 ...
- Java最新面试问答整理
Q:JDK和JRE区别? JDK是整个JAVA的核心,包括了Java运行环境JRE,一堆Java工具和Java基 础的类库.通过JDK开发人员将源码文件(java文件)编译成字节码文件(class文 ...
- 阿里云MaxCompute 2019-8月刊
您好,MaxCompute 2019.8月刊为您带来8月产品.技术最新动态,欢迎阅读. 导读 [重要发布]8月产品重要发布 [文档更新]8月重要文档更新推荐 [干货精选]8月精选技术文章推荐 [精彩活 ...
- CSDN问答频道“华章杯”7月排行榜活动开始,丰厚奖品等你拿
CSDN问答频道月度排行榜,是CSDN问答频道从3月开始举办的活动,旨在鼓励更多用户参与提问和解答,创造一个良好的互帮互助氛围,使参与者在问和答的过程中得到技术水平的提升,也希望大家能在技术交流中结交 ...
- CSDN问答频道“华章杯”11月排行榜活动开始,丰厚奖品等你拿
CSDN问答频道月度排行榜,是CSDN问答频道从3月开始举办的活动,旨在鼓励更多用户参与提问和解答,创造一个良好的互帮互助氛围,使参与者在问和答的过程中得到技术水平的提升,也希望大家能在技术交流中结交 ...
随机推荐
- Delphi代码规范
1. 前言 本文档主要是为Delphi开发人员提供一个源代码书写标准,以及程序和文件的命名标准,使他们在编程时有一致格式可遵循.这样,每个编程人员编写的代码能够被其他人理解. 2. 源程序书写规范 2 ...
- C# 全局Hook在xp上不回调
最近做了个捕捉全局鼠标,获取目标窗体内的控件文本信息,点击的按钮信息.用的全局钩子.在win10上运行正常,部署到xp系统上就没有反应.查了些资料,解决了此问题. 原本安装钩子的写法如下: Nativ ...
- mybatis学习:mybatis的注解开发和编写dao实现类的方式入门
一.使用注解则不需要创建映射配置文件:即xxxDao.xml javaBean为什么要实现Serializable接口? Java的"对象序列化"能让你将一个实现了Serializ ...
- 跟我一起做一个vue的小项目(二)
这个vue项目是紧跟着之前的项目跟我一起做一个vue的小项目(一)来的. 我继续后面的开发(写的比较粗糙,边学边记录) 下图是header头部的样式 header组件内容如下 //header.vue ...
- leetcode 352 & leetcode 239 & leetcode 295 & leetcode 53 & leetcode 209
lc352 Data Stream as Disjoint Intervals 可以用treemap解 key保存interval的start,value保存interval的end.分别找出当前va ...
- 通过游戏学python 3.6 第一季 第一章 实例项目 猜数字游戏--核心代码 可复制直接使用 娱乐 可封装 函数
本文实例讲述了python实现的简单猜数字游戏.分享给大家供大家参考.具体如下: 给定一个1-99之间的数,让用户猜数字,当用户猜错时会提示用户猜的数字是过大还是过小,知道用户猜对数字为止,猜对数字用 ...
- C++使用stringstream分割字符串
在这里查看getline的函数声明如下: 可以看到,第三个参数delim是分隔符,可以指定不同的分隔符,如果不指定的话就默认是'\n'. 举个例子:
- Ubuntu 16.04 LTS安装Docker最新版
一.安装Docker的先决条件 1.运行64位CPU构架的计算机(目前只能是x86_64和amd64),请注意,Docker目前不支持32位CPU.2.运行Linux 3.8或更高版本内核.一些老版本 ...
- Django 的学习(1) 从建立到数据库操作
基本是翻译官方教程 django-admin startproject mysite 创建工程的命令 来看一下django的结构图 manage.py 和工程交互的多种方式 inner mysilte ...
- 2018-8-10-如何使用-C#-爬虫获得专栏博客更新排行
title author date CreateTime categories 如何使用 C# 爬虫获得专栏博客更新排行 lindexi 2018-08-10 19:16:51 +0800 2018- ...