Aws Dynamodb数据导出到S3
Creating IAM Roles for AWS Data Pipeline。
- 登陆到AWS管理员控制台,打开DynamoDB console。
- 在 Amazon DynamoDB Tables 页面, 点击 Export/Import.
- 在 Export/Import 页面, 选择你想导出的表,然后点击
Export from DynamoDB. - 在 Create Export Table Data Pipeline(s) 页面。按以下流程操作:
- 在 S3 Output Folder 文本框中填写 Amazon S3 URI,导出文件将存放在S3中对应的目录下。比如:
s3://mybucket/exports
这个URI的规则应该是这样s3://
bucketname
/folder
: bucketname
是S3中bucket的名称folder
表示此bucket下目录的名称。假设这个目录不存在,它将被自己主动创建。假设你不指定这个名称,它将被自己主动授予一个名字,名字的规则是:
s3://
.bucketname
/region
/tablename
- 在 S3 Log Folder 文本框中输入一个S3 URI。导出过程的日志将被存储在对应的folder中。比如:
s3://mybucket/logs/
S3 Log Folder URI的格式和
S3 Output Folder的格式同样。 - 在 Throughput Rate 文本框中可选择一个百分比。
这个比率表示在导出过程中会消耗读吞吐量的上限。比如,如果你要导出的表的读吞吐量是20,同一时候你设置的百分比是40%。
那么导出时所消耗的吞吐量将不会超过8.
假设你在导出多个表,这个 Throughput Rate 将会被应用到每一个表中。 - Execution Timeout 文本框。输入导出任务的超时时长。假设导出任务在这个时长内还没运行完毕,此任务会失败。
- Send notifications to 文本框,输入一个email地址。
在 pipeline被创建后。你将会收到一封email邀请订阅Amazon SNS。假设你接受了此邀请。在每次运行导出操作时你都将会收到email通知。
- Schedule 选项,选择以下当中一项:
- One-time Export —导出任务将在pipeline被创建后马上运行。
- Daily Export — 导出任务将会在你所指定的时刻运行。同一时候会在每天的那个时刻反复。
- Data Pipeline Role, 选择 DataPipelineDefaultRole.
- Resource Role, 选择 DataPipelineDefaultResourceRole
- 在 S3 Output Folder 文本框中填写 Amazon S3 URI,导出文件将存放在S3中对应的目录下。比如:
- 确认好以上设置然后点击 Create Export Pipeline.
Export and Import Pipelines.
假设你选择的是daily export,导出任务将会在指定时刻运行,同一时候会在每天的那个时刻运行导出任务。
YYYY-MM-DD_HH.MM。
文件内部结构会在
VerifyData Export File 中描写叙述。
Aws Dynamodb数据导出到S3的更多相关文章
- 使用 bash 脚本把 AWS EC2 数据备份到 S3
目录 一.IAM 秘钥授权方式(普通) 1.1.打开 IAM 1.2.添加用户 1.3.安装和配置 AWS CLI 1.4.配置授权 二.IAM 角色授权方式(安全) 2.1.创建一个 EC2 访问 ...
- 干货 | Elasticsearch、Kibana数据导出实战
1.问题引出 以下两个导出问题来自Elastic中文社区. 问题1.kibana怎么导出查询数据? 问题2:elasticsearch数据导出 就像数据库数据导出一样,elasticsearch可以么 ...
- ELK学习笔记之Elasticsearch和Kibana数据导出实战
0x00 问题引出 以下两个导出问题来自Elastic中文社区. 问题1.kibana怎么导出查询数据?问题2:elasticsearch数据导出就像数据库数据导出一样,elasticsearch可以 ...
- [django]数据导出excel升级强化版(很强大!)
不多说了,原理采用xlwt导出excel文件,所谓的强化版指的是实现在网页上选择一定条件导出对应的数据 之前我的博文出过这类文章,但只是实现导出数据,这次左思右想,再加上网上的搜索,终于找出方法实现条 ...
- 【基于WinForm+Access局域网共享数据库的项目总结】之篇二:WinForm开发扇形图统计和Excel数据导出
篇一:WinForm开发总体概述与技术实现 篇二:WinForm开发扇形图统计和Excel数据导出 篇三:Access远程连接数据库和窗体打包部署 [小记]:最近基于WinForm+Access数据库 ...
- mssqlserver数据导出到另外一个数据库
mssqlserver数据导出到另外一个数据库 准备源数据库,找到想要导出的数据库,右键选择"任务"再选择"导出数据" 设置源数据库信息 3.设置目标数据库,导 ...
- 在SQL Server中将数据导出为XML和Json
有时候需要一次性将SQL Server中的数据导出给其他部门的也许进行关联或分析,这种需求对于SSIS来说当然是非常简单,但很多时候仅仅需要一次性导出这些数据而建立一个SSIS包就显得小题大做 ...
- Oracle如何实现创建数据库、备份数据库及数据导出导入的一条龙操作
Oracle中对数据对象和数据的管理,无疑都是使用PL/SQL Developer来进行管理,该工具也提供给我们很多方便.快捷的操作,使得我们不再为Oracle本身丑陋.难用的UI而抱怨.由于我们一般 ...
- pb将datawindow数据导出EXCEL
PB有dw有自带功能可以将数据导出成excel,但是head却是字段名称,这样不直观. 所见即所得的方式是,将dw保存成html然后将后缀名改成xls,但这样的方式还有些问题就是会错列,解决的方法是将 ...
随机推荐
- iframe内容刷新
经常有嵌套的iframe的内容无法及时刷新,需要手动刷新,这时候就需要获取iframe,然后调用对象的reload, document.getElementById(iframe的id).conten ...
- 大数据学习——akka自定义RPC
实现 package cn.itcast.akka import akka.actor.{Actor, ActorSystem, Props} import akka.actor.Actor.Rece ...
- Game on Tree
D - Game on Tree Time limit : 2sec / Memory limit : 256MB Score : 1100 points Problem Statement Ther ...
- Navicat数据库备份还原
Navicat数据库备份包括数据和架构 还原数据库:把备份文件复制到备份文件夹所在位置,还原即可
- 九度oj 题目1459:Prime ring problem
题目描述: A ring is compose of n circles as shown in diagram. Put natural number 1, 2, ..., n into each ...
- iOS粒子效果
网址链接:http://www.cocoachina.com/bbs/read.php?tid-103257.html http://code.cocoachina.com/view/125060 粒 ...
- hihoCoder #1072 辅导
题意 $\DeclareMathOperator{\lcm}{lcm}$选 $k$ ($k\le 10$) 个 $1$ 到 $n$($n\le 10^9$)之间的整数(可以相同),使得 $\lcm(a ...
- NOJ——1672剪绳子(博弈)
[1672] 剪绳子 时间限制: 500 ms 内存限制: 65535 K 问题描述 已知长度为n的线圈,两人依次截取1~m的长度,n, m为整数,不能取者为输. 输入 输入n, m:( 0 < ...
- 洛谷P1418 选点问题
P1418 选点问题 74通过 240提交 题目提供者tinylic 标签云端 难度普及+/提高 时空限制1s / 128MB 提交 讨论 题解 最新讨论更多讨论 非常重要!! 90分的点这里 题 ...
- ServletContext ActionContext ServletActionContext
1> ServletContext--------->SessionContext>RequestContext>PageContext 一个 WEB 运用程序只有一个 Ser ...