ODPS Tunnel是ODPS的数据通道,用户能够通过Tunnel向ODPS中上传或者下载数据。眼下Tunnel仅支持表(不包含视图View)数据的上传下载。

主要接口 描写叙述
TableTunnel 訪问ODPS Tunnel服务的入口类。用户能够通过公网或者阿里云内网环境对ODPS 及其Tunnel进行訪问。

当用户在阿里云内网环境中。使用Tunnel内网连接下载数据时。ODPS不会将该操作产生的流量计入计费。

此外内网地址仅对杭州域的云产品有效。

TableTunnel.UploadSession 表示一个向ODPS表中上传数据的会话。
TableTunnel.DownloadSession 表示一个向ODPS表中下载数据的会话。

接口定义:

  1. public class DownloadSession {
    DownloadSession(Configuration conf, String projectName, String tableName,
    String partitionSpec) throws TunnelException
    DownloadSession(Configuration conf, String projectName, String tableName,
    String partitionSpec, String downloadId) throws TunnelException
    public String getId()
    public long getRecordCount()
    public TableSchema getSchema()
    public DownloadSession.Status getStatus()
    public RecordReader openRecordReader(long start, long count)
    public RecordReader openRecordReader(long start, long count, boolean compress)
    }

Download对象:

  • 生命周期:从创建Download实例到下载结束
  • 创建Download实例,能够通过调用构造方法创建。也能够通过TableTunnel创建。
    • 请求方式:同步
    • Server端会为该Download创建一个session。生成唯一downloadId标识该Download,client能够通过getId获取
    • 该操作开销较大,server端会对数据文件创建索引。当文件数非常多时,该时间会比較长。
    • 同一时候server端会返回总Record数。能够依据总Record数启动多个并发同一时候下载
  • 下载数据:
    • 请求方式:异步
    • 调用openRecordReader方法,生成RecordReader实例,当中參数start标识本次下载的record的起始位置。从0開始。取值范围是 >= 0, count标识本次下载的记录数,取值范围是>0。
  • 查看下载:
    • 请求方式:同步
    • 调用getStatus能够获取当前Download状态
  • 4种状态说明:
    • UNKNOWN, server端刚创建一个session时设置的初始值
    • NORMAL, 创建Download对象成功
    • CLOSED, 下载结束后
    • EXPIRED, 下载超时

说明:分区表下载必须指定分区

事例源代码:

  1. package bysql;
  2.  
  3. import java.io.BufferedWriter;
  4. import java.io.File;
  5. import java.io.FileOutputStream;
  6. import java.io.IOException;
  7. import java.io.OutputStreamWriter;
  8. import java.util.Date;
  9. import com.aliyun.odps.Column;
  10. import com.aliyun.odps.Odps;
  11. import com.aliyun.odps.PartitionSpec;
  12. import com.aliyun.odps.TableSchema;
  13. import com.aliyun.odps.account.Account;
  14. import com.aliyun.odps.account.AliyunAccount;
  15. import com.aliyun.odps.data.Record;
  16. import com.aliyun.odps.data.RecordReader;
  17. import com.aliyun.odps.tunnel.TableTunnel;
  18. import com.aliyun.odps.tunnel.TunnelException;
  19.  
  20. public class DownloadSample {
  21.  
  22. private static final String ACCESS_ID = "<your access id>";
  23. private static final String ACCESS_KEY = "<your access Key>";
  24. private static final String PROJECT_NAME = "<your project>";
  25. private static final String TUNNEL_URL = "<your tunnel endpoint>";
  26. private static final String ODPS_URL = "<your odps endpoint>";
  27.  
  28. public static void main(String args[]) throws Exception {
  29. String tableName = "point_z";//表名
  30.  
  31. /* 先构建阿里云帐号 */
  32. Account account = new AliyunAccount(ACCESS_ID, ACCESS_KEY);
  33.  
  34. /* Odps类是ODPS SDK的入口 */
  35. Odps odps = new Odps(account);
  36. odps.setDefaultProject(PROJECT_NAME);// 指定默认使用的Project名称
  37. odps.setEndpoint(ODPS_URL);// 设置ODPS服务的地址
  38.  
  39. /*訪问ODPS Tunnel服务的入口类*/
  40. TableTunnel tunnel = new TableTunnel(odps);
  41. tunnel.setEndpoint(TUNNEL_URL);//设置TunnelServer地址
  42.  
  43. try {
  44. /*此处表point_z为分区表。下载时必须指定分区
  45. * 指定下载分区
  46. * */
  47. PartitionSpec partitionSpec = new PartitionSpec();
  48. partitionSpec.set("z", "1");
  49.  
  50. System.out.println("開始下载数据.........");
  51. File file = new File("G:\\"+tableName+"(单线程).txt");//下载文件
  52. if (file.exists()){
  53. file.delete();
  54. }
  55. file.createNewFile();
  56. long startTime = System.currentTimeMillis();
  57.  
  58. /*在分区表上创建下载会话(分区表必须指定分区,非分区表不用)*/
  59. TableTunnel.DownloadSession downloadSession = tunnel
  60. .createDownloadSession(PROJECT_NAME, tableName,partitionSpec);
  61.  
  62. long count = downloadSession.getRecordCount();
  63. System.out.println("RecordCount is: " + count);
  64.  
  65. RecordReader recordReader = downloadSession.openRecordReader(0,
  66. count);
  67. Record record;
  68. while ((record = recordReader.read()) != null) {
  69. consumeRecord(record, downloadSession.getSchema(),file);
  70. }
  71. recordReader.close();
  72. long endTime = System.currentTimeMillis();
  73. System.out.println("总共耗时:" + (endTime - startTime) + " ms");
  74. System.out.println("-------------------------------------------------");
  75. } catch (TunnelException e) {
  76. e.printStackTrace();
  77. } catch (IOException e1) {
  78. e1.printStackTrace();
  79. }
  80. }
  81.  
  82. private static void consumeRecord(Record record, TableSchema schema,File file)
  83. throws IOException {
  84. BufferedWriter out = new BufferedWriter(new OutputStreamWriter(
  85. new FileOutputStream(file, true), "utf-8"));
  86. String writeStr="";
  87. String str = null;
  88. for (int i = 0; i < schema.getColumns().size(); i++) {
  89. Column column = schema.getColumn(i);
  90. String colValue = null;
  91. switch (column.getType()) {
  92. case BIGINT: {
  93. Long v = record.getBigint(i);
  94. colValue = v == null ? null : v.toString();
  95. break;
  96. }
  97. case BOOLEAN: {
  98. Boolean v = record.getBoolean(i);
  99. colValue = v == null ? null : v.toString();
  100. break;
  101. }
  102. case DATETIME: {
  103. Date v = record.getDatetime(i);
  104. colValue = v == null ? null : v.toString();
  105. break;
  106. }
  107. case DOUBLE: {
  108. Double v = record.getDouble(i);
  109. colValue = v == null ?
  110.  
  111. null : v.toString();
  112. break;
  113. }
  114. case STRING: {
  115. String v = record.getString(i);
  116. colValue = v == null ? null : v.toString();
  117. break;
  118. }
  119. default:
  120. throw new RuntimeException("Unknown column type: "
  121. + column.getType());
  122. }
  123. str = colValue == null ?
  124.  
  125. "null" : colValue;
  126. if (i != schema.getColumns().size()-1){
  127. str = schema.getColumn(i).getName()+":"+str+", ";
  128. }else{
  129. str = schema.getColumn(i).getName()+":"+str;
  130. }
  131. writeStr =writeStr+str;
  132. }
  133. str =str +System.getProperty("line.separator");
  134. writeStr =writeStr +System.getProperty("line.separator");
  135. out.write(writeStr);
  136. out.close();
  137. }
  138.  
  139. }

【ODPS】TableTunnel单线程简单下载事例的更多相关文章

  1. 【Java EE 学习 22 下】【单线程下载】【单线程断点下载】【多线程下载】

    一.文件下载简述 1.使用浏览器从网页上下载文件,Servlet需要增加一些响应头信息 (1)response.setContentType("application/force-downl ...

  2. C# 网络编程之网页简单下载实现

    这是根据<C#网络编程实例教程>中学到的知识实现的一个C#网页简单下载器,其中涉及到的知识主要是HTTP协议编程中相关类:HttpWebRequest类.HttpWebResponse类. ...

  3. PHP实现简单下载功能

    PHP实现简单下载 PHP文件为download.php,供下载的文件为1.jpg. <?php $filename="1.jpg"; if(!file_exists($fi ...

  4. C#一个简单下载程序实例(可用于更新)

    运行时的界面 using System; using System.Collections.Generic; using System.ComponentModel; using System.Dat ...

  5. PHP简单下载

    ·php escapeshellcmd多字节编码漏洞 ·详细讲解PHP中缓存技术的应用 ·利用PHP V5开发多任务应用程序 ·详细解析 PHP 向 MySQL 发送数据过程 ·PHP实现静态发布的方 ...

  6. 用Perl做个简单”下载者病毒”

    一直学的perl, 有时perl不理解时就用python写一下,这样或许perl就理解了 这里参照python写法,做了个perl的版本,当然,是为了学习用,这个下载者病毒有点简单过头了 backdo ...

  7. spring切面-单线程简单权限判定

    spring切面简单模拟用户权限判定 需求: 游客:仅注册用户 用户:修改,注册 管理员:删除,查询,修改,注册 1,文件配置 导包 src下创建applicationContext.xml文件配置如 ...

  8. windows下安装redis以及简单的事例

    1.安装服务端下载地址:http://code.google.com/p/servicestack/wiki/RedisWindowsDownload我下载了一个 redis-2.0.0服务器包,解压 ...

  9. Scrapy基础(七)————图片的简单下载

    scrapy 提供了自动下载图片到本地的功能,通过项目管道设置 一: 在setting 文件中ITEM_PIPELINE添加: 'scrapy.pipelines.images.ImagesPipel ...

随机推荐

  1. 用代理IP进行简单的爬虫——爬高匿代理网站

    用西刺代理网站的IP爬高匿代理网站 import re import _thread from time import sleep,ctime from urllib.request import u ...

  2. asp.net 自定义的模板方法接口通用类型

    本来想写这个帖子已经很久了,但是公司事情多,做着做着就忘记了.公司因为需要做接口,而且用的还是asp.net的老框架,使用Handler来做,没得办法,自己照着MVC写了一个通过的接口操作模板. 上送 ...

  3. 使用jquery ajaxForm提交表单

    一.首先引用Jquery <script src="~/Scripts/jquery-1.9.1.min.js"></script> <script ...

  4. Lucene全文检索学习笔记

    全文索引 介绍Lucene的作者:Lucene的贡献者Doug Cutting是 一位资深全文索引/检索专家,曾经是V-Twin搜索引擎(Apple的Copland操作系统的成就之一)的主要开发者,后 ...

  5. 通过hadoop + hive搭建离线式的分析系统之快速搭建一览

    最近有个需求,需要整合所有店铺的数据做一个离线式分析系统,曾经都是按照店铺分库分表来给各自商家通过highchart多维度展示自家的店铺经营 数据,我们知道这是一个以店铺为维度的切分数据,非常适合目前 ...

  6. 并行设计模式(二)-- Master-Worker模式

    Java多线程编程中,常用的多线程设计模式包括:Future模式.Master-Worker模式.Guarded Suspeionsion模式.不变模式和生产者-消费者模式等.这篇文章主要讲述Mast ...

  7. php中foreach中使用&的办法

    刚开始在使用foreach时候一直不理解为什么要使用& 后来发现在给一个数组里面添加数据时候很好用 <?phpheader("Content-Type:text/html;ch ...

  8. Ipad弹出UIAlertControllerStyleActionSheet时发生崩溃

    pad弹出UIAlertControllerStyleActionSheet时,在iphone上运行正常,但在ipad上崩溃,解决代码如下: UIAlertController *alertVc = ...

  9. DOM操作基本用法

    本文列举了js中DOM选取的基本用法,在列表中没有id的情况下如何选取到需要的一项,代码如下: <h2>获取Jerry的js代码</h2> <ul id="fi ...

  10. 算法训练 区间K大数

    算法训练 区间k大数查询 时间限制:1.0s   内存限制:256.0MB 问题描述 给定一个序列,每次询问序列中第l个数到第r个数中第K大的数是哪个. 输入格式 第一行包含一个数n,表示序列长度. ...