MaxCompute问答整理之10月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。
问题一、DataStudio中是否可以通过shell节点调取MaxCompute sql语句?
不可以的,Shell节点支持标准Shell语法,不支持交互性语法。如果任务较多,可以使用ODPS SQL节点来完成任务的执行。关于DataStudio的其他介绍请参考官方文档: https://help.aliyun.com/document_detail/74423.html
问题二、MaxCompute支持修改表字段的数据类型吗?
不支持,只能添加字段列,生产表不允许删除字段、修改字段及分区字段,如果必须修改,请删除之后重新建表,可以将表建立成外部表,在表删除重建以后,能将数据重新加载回来。
数据类型请参考官方文档:https://help.aliyun.com/document_detail/27821.html
问题三、MaxCompute除了UDF函数的方式外,有没有别的办法将两个没有任何关联关系的表合并成一张表呢?
可以纵向合并使用union all,横向合并的话可以借助row number,两张表都新加一个新的ID列,进行ID关联,然后取两张表的字段。
问题四、现有账号的AK禁用,创建一个新的AK,会对之前AK创建的周期性任务有影响吗?
有的,如果AccessKey被禁用或删除,将直接影响您的DataWorks中各类任务的正常运行。
AK信息谨慎操作。其余AK操作请参考官方文档:https://help.aliyun.com/document_detail/27803.html
问题五、在Java-sdk连接的情况下,如果Endpoint用的 http://service.cn.maxcompute.aliyun.com/api,如果我没有显式配置Tunnel Endpoint,用到TunnelServer时会路由到哪个Tunnel Endpoint?
如果不配置Tunnel Endpoint,Tunnel会自动路由到Service Endpoint所在网络对应的Tunnel Endpoint,例如Service Endpoint为公网就路由到公网的Tunnel Endpoint;Service Endpoint为内网就路由到内网的Tunnel Endpoint。若您继续手动配置,则以手动配置为准,不进行自动路由。具体可以参考官方文档:https://help.aliyun.com/document_detail/34951.html
问题六、请问Tunnel可以上传json格式的数据到MaxCompute表吗?
可以把json文件作为一个整体的字段来进行上传,然后在MaxCompute进行拆分,或者利用MaxCompute内建函数及UDTF转换json格式日志数据。可以参考这个文档 :https://yq.aliyun.com/articles/627758
问题七、如何正确安装MaxCompute客户端?
1、根据自身系统安装匹配JDK(建议1.7/1.8)并配置环境;
2、官网文档下载最新版客户端文件并解压;
3、根据开通好的工作空间配置config文件;
4、根据自身系统选择执行文件(bin文件内);
5、执行测试建表语句:create table tbll(id bigint)。
安装及配置客户端过程中,可能会出现错误,请参考官方文档解决:
https://help.aliyun.com/document_detail/142260.html
问题八、MaxCompute支持将2010/1/3这种格式转成 2010-01-03吗?
如果是2010/01/03这种格式的话可以使用to_char(TO_DATE(‘2019/04/02’, ‘yyyy/mm/dd’), ‘yyyy-mm-dd’)去进行转换,
如果是2010/1/3就需要去编写UDF函数去实现日期的转换。
更多日期函数请参考官方文档:https://help.aliyun.com/document_detail/48974.html
问题九、使用OSS外部表怎么样将多个小文件,输出为一个文件?
查看Logview日志,看SQL的执行计划,看最后一个是Reducer还是Joiner,
如果是Reducer则设置参数为set odps.stage.reducer.num=1,
如果是Joiner,则设置为set odps.stage.joiner.num=1。
问题十、DataWorks业务流程中,根据业务需求进行节点连接之后自动解析上下游是否会发生错误?
不会,在调度系统中,每一个工作空间中默认会创建一个projectname_root节点作为根节点。如果本节点没有上游节点,可以直接依赖根节点。依赖属性中配置节点的上游依赖,表示即使当前节点的实例已经到定时时间,也必须等待上游节点的实例运行完毕,才会触发运行。
本文作者:亢海鹏
本文为云栖社区原创内容,未经允许不得转载。
MaxCompute问答整理之10月的更多相关文章
- MaxCompute问答整理之8月
本文是基于对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文.希望对大家有所帮助. 问题一.通过数据源数据增量同步后,如何查看某一条数据具体被同步到MaxCompute ...
- MaxCompute问答整理之7月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文.希望对大家有所帮助. 问题一.DataWorks V2.0简单模式和标准模式的区别?公司数仓的数据上云 ...
- MaxCompute问答整理之9月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文.希望对大家有所帮助. 问题一.如何查看information_schema的tables? 在使用OD ...
- MaxCompute问答整理之6月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文.希望对大家有所帮助,下面咱们正式开始. 1.什么是MaxCompute呢?MaxCompute是由阿里 ...
- 10月12号 晚八点 Speed-BI 云平台-基于Excel数据源的管理驾驶舱构建全过程,腾讯课堂开课啦
认真地做了一大摞一大摞的报表,老板没时间看?努力把能反馈的内容都融汇进图表里,老板嫌复杂?做了几个简单的报表,老板一眼就觉得信息不全面?每个报表都用了各种各样的图表,老板却毫无兴趣?明明很努力了,为什 ...
- mac文本操作小技巧——2019年10月17日
声明:看的别人博主写的,自己整理的,非原创,只是自用. mac文本操作技巧 官方指导文档:https://support.apple.com/zh-cn/HT201236 1.光标移动 1.1 行首. ...
- [C#项目开源] MongoDB 可视化管理工具 (2011年10月-至今)
正文 该项目从2011年10月开始开发,知道现在已经有整整5年了.MongoDB也从一开始的大红大紫到现在趋于平淡. MongoCola这个工具在一开始定位的时候只是一个Windows版本的工具,期间 ...
- 中国式商业智能报表ActiveReports免费公开课,10月20日开讲
ActiveReports公开课全方位报表解决方案,满足商业报表五大需求 [开课时间]10月20日[主讲老师]葡萄城报表产品经理[开课形式]网络在线公开课[活动费用]前50名免费 适合人群:报表开发人 ...
- JavaScript图表FusionCharts免费在线公开课,由印度原厂技术工程师主讲,10月13日发车
FusionCharts公开课达人还你做 轻松晋升图表大师 [开课时间]10月13日 14:30[主讲老师]印度原厂技术工程师[开课形式]网络在线公开课[活动费用]前50名免费 现在就可以报名哦 报 ...
随机推荐
- C++ 常用数学运算(加减乘除)代码实现 Utils.h, Utils.cpp(有疑问欢迎留言)
Utils.h #pragma once class Utils { public: static double* array_diff(double*A,double B[],int n); sta ...
- SEERC 2018 I - Inversion (Gym - 101964I) DP
Gym - 101964I 题意 有一个数组\(p\),如果满足\(i<j,p_i>p_j\),则\(i,j\)之间就有一条边相连,问存在多少个集合满足集合内的元素互不相连,且集合外的元素 ...
- flutte页面布局四
AspectRatio 组件 AspectRatio 的作用是根据设置调整子元素 child 的宽高比. AspectRatio 首先会在布局限制条件允许的范围内尽可能的扩展,widget 的高度是由 ...
- LOJ 2980 「THUSCH 2017」大魔法师——线段树
题目:https://loj.ac/problem/2980 线段树维护矩阵. 然后是 30 分.似乎是被卡常了?…… #include<cstdio> #include<cstri ...
- 移动端与pc端的区别 及 ios的 兼容性问题
前言:这里移动端主要指 hybrid app 中的H5页面.app 中对页面 样式和功能 的需求会更精细一点. 1.适配: 手机端的尺寸多样,3.5英寸的 iPhone4应该是最小的,只要考虑 兼容到 ...
- 术语-Portal:Portal(Web站点)
ylbtech-术语-Portal:Portal(Web站点) Portal作为网关服务于因特网的一种WEB站点.Portal是链路.内容和为用户可能找到的感兴趣的信息(如新闻.天气.娱乐.商业站点. ...
- 使用Excel绘制F分布概率密度函数图表
使用Excel绘制F分布概率密度函数图表 利用Excel绘制t分布的概率密度函数的相同方式,可以绘制F分布的概率密度函数图表. F分布的概率密度函数如下图所示: 其中:μ为分子自由度,ν为分母自由度 ...
- 支付宝PC端接入PHP
引入支付宝接口 放入一个插件库中,方便管理 创建支付类 1.发起支付 public function init() { $order_id = $_REQUEST['order_id']; $orde ...
- 小程序UI自动化(一):appium小程序自动化尝试
appium 进行 小程序自动化尝试: 由于工作中进行app自动化用的是appium,故首先尝试用appium进行小程序自动化,以美团小程序为例(python脚本实现) 一.配置基础信息 启动微信ap ...
- Fiddler设置展示接口响应时间
在Tool bar上面找到Rules->CustomRules 在class Handlers{ 里面添加 function BeginRequestTime(oS: Session){ ...