阿里云ODPS <====>蚂蚁大数据
1.命令行客户端工具的安装参考文档:http://repo.aliyun.com/odpscmd/?spm=a2c4g.11186623.2.17.5c185c23zHshCq
2.创建和查看表:https://help.aliyun.com/document_detail/27808.html?spm=a2c4g.11186623.6.567.6a677f32HOWgC5
3.阿里云网页查询工具 dataworks数据工厂 <===============>蚂蚁 [数据智能研发平台(数据工厂)]
CTRL + G
创建表、分区表、上传下载数据、在表下建立分区、向分区表内上传下载数据等操作:
创建分区表:<数据需要在分到不同的文件后上传到分区表中才有作用,上传到分区时必须选择分区>
odps@ sdrtest>create table t_people_p (id int, name string) partitioned by (gender string); \\创建分区,分区以“性别”为分区标致
odps@ sdrtest>alter table t_people_p add if not exists partition (gender='male'); \\创建分区表,分区表的标致为 性别为 “男性”
odps@ sdrtest>tunnel upload men.txt t_people_p/gender='male'; \\将事先整理好的男性的数据上传到建立好的男性的分区表内
通过odpscmd查看到的写入到分区表的数据:
odps@ sdrtest>read t_people_p;
+------------+------------+------------+
| id | name | gender |
+------------+------------+------------+
| 1 | Michael Jordan | male |
| 3 | Bruce Willis | male |
| 5 | Jhon Knight | male |
| 7 | Chiang Kai-shek | male |
| 9 | David Beckham | male |
+------------+------------+------------+
通过上述方式继续上传女性数据到女性分区表:
odps@ sdrtest>alter table t_people_p add if not exists partition (gender='female');
odps@ sdrtest>tunnel upload women.txt t_people_p/gender='female';
通过odpscmd查看到的写入到分区表的数据:
odps@ sdrtest>read t_people_p;
+------------+------------+------------+
| id | name | gender |
+------------+------------+------------+
| 2 | Angela Dorthea Merkel | female |
| 4 | Kim Kardashian | female |
| 6 | Maria Sharapova | female |
| 8 | Jennifer Aniston | female |
| 10 | Dragon Lady | female |
| 1 | Michael Jordan | male |
| 3 | Bruce Willis | male |
| 5 | Jhon Knight | male |
| 7 | Chiang Kai-shek | male |
| 9 | David Beckham | male |
+------------+------------+------------+
odps@ sdrtest> tunnel download t_people_p/gender='male' down_male;
odps@ sdrtest> tunnel download t_people_p/gender='female' down_female; 查看下载的男性分区里面的数据:
[root@sdrtest .odpscmd]# cat down_male
1, Michael Jordan
3, Bruce Willis
5, Jhon Knight
7, Chiang Kai-shek
9, David Beckham
查看下载下来的女性分区内的数据:
[root@sdrtest .odpscmd]# cat down_female
2, Angela Dorthea Merkel
4, Kim Kardashian
6, Maria Sharapova
8, Jennifer Aniston
10, Dragon Lady
阿里云ODPS <====>蚂蚁大数据的更多相关文章
- 揭秘阿里云EB级大数据计算引擎MaxCompute
日前,全球权威咨询与服务机构Forrester发布了<The Forrester WaveTM: Cloud Data Warehouse, Q4 2018>报告.这是Forrester ...
- 阿里云Mysql导入大数据文件
1.查询数据保存为CSV文件 select * from account into outfile '/root/account.csv' fields terminated by ',' enclo ...
- 大数据平台Hive数据迁移至阿里云ODPS平台流程与问题记录
一.背景介绍 最近几天,接到公司的一个将当前大数据平台数据全部迁移到阿里云ODPS平台上的任务.而申请的这个ODPS平台是属于政务内网的,因考虑到安全问题当前的大数据平台与阿里云ODPS的网络是不通的 ...
- Train-Alypay-Cloud:蚂蚁大数据平台培训开课通知(第三次)
ylbtech-Train-Alypay-Cloud:蚂蚁大数据平台培训开课通知(第三次) 1.返回顶部 1. 您好! 很高兴通知您,您已经成功报名将于蚂蚁金服计划在2018年2月28日- 2018年 ...
- Train-Alypay-Cloud:蚂蚁大数据平台培训开课通知(第三次)- 培训笔记3(机器学习平台)
ylbtech-Train-Alypay-Cloud:蚂蚁大数据平台培训开课通知(第三次)- 培训笔记3(机器学习平台) 机器学习平台 一站式可视化机器学习 https://pai.cloud.ali ...
- 服务器 阿里云服务器Ubuntu挂载数据盘
服务器 阿里云服务器Ubuntu挂载数据盘 转自:http://www.codingyun.com/article/24.html coding云运行在阿里云的Ubuntu 12.04 64位操作系 ...
- Centos7.4(阿里云环境)挂载数据盘
Centos7.4(阿里云环境)挂载数据盘 2018.08.29 10:19 947浏览 查看数据盘 disk -l 磁盘 /dev/vda:42.9 GB, 42949672960 字节,83886 ...
- 阿里云DataWorks实践:数据集成+数据开发
简介 什么是DataWorks: DataWorks(数据工场,原大数据开发套件)是阿里云重要的PaaS(Platform-as-a-Service)平台产品,为您提供数据集成.数据开发.数据地图.数 ...
- 【ODPS】阿里云ODPS中带分区的表操作
1.创建分区表: 分区表有自己的分区列,而分区表则没有. public static void createTableWithPartition(Odps odps, String createTab ...
随机推荐
- JavaScript 注意要点
何时加引号: 只有变量不加引号.加了引号的一定不是变量,是字符 方法: 方法一律带有小括号 js 中的作用域 全局变量: 在最外层定义的变量: 在函数体内部看是没有声明var的 也是全局 ...
- 【oracle入门】数据模型
数据模式也是一这种模型,它是数据库中用于提供信息表示的操作手段的形式架构,是数据库中用来对现实世界惊喜抽象的工具.数据模型按不同的应用层次分为3种类型,分别为概念数据模型.逻辑数据模型.物理数据模型. ...
- contos防爆力破解密码
最近看了一篇文章ssh的爆力破解所以自己就做了一下防爆力破解denyhost 下载denyhost的软件包并上传的服务器下载地址https://sourceforge.net/projects/den ...
- 【paper】MTCNN
参考 1. MTCNN笔记; 完
- sql server中case when的用法
Case具有两种格式.简单Case函数和Case搜索函数. --简单Case函数 CASE sex WHEN '1' THEN '男' WHEN '2' THEN '女' ELSE '其他' END ...
- windows tensorboard http://0.0.0.0:6006 无法访问 解决方法 - using chrome and localhost as ip
启动命令: tensorboard --logdir="tensorboard" 启动后显示 Starting TensorBoard b'47' at http://0.0.0. ...
- np金融量化分析
在所有的np中都是已返回值的形式进行修改的,否则不会修改 只是显示内容 形状是三维数据 全0数组 reshape也可以将二维的变成一维的 下标和切片 一维的切片 二维切片 . 列表切片 给一个数组 ...
- golang 写日志到syslog
应用程序可以通过 UNIX domain sockets, UDP or TCP,向syslog守护进程发送日志.syslog守护进程可以在远端. 这样,就可以不用单独收集应用程序的日志了. gola ...
- Linux之正则表达式1
正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符.及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑.适当使用正则表达式可以提高工作效 ...
- The query below helps you to locate tables without a primary key:
SELECT tables.table_schema, tables.table_name, tables.table_rows FROM information_schema.tables LEFT ...