python访问aws-S3服务
创建本地 AWS 凭证文件
登录 AWS 管理控制台 并通过以下网址打开 IAM 控制台 https://console.amazonaws.cn/iam/。
创建一个新用户,其权限仅限于您希望您的代码有权访问的服务和操作。有关创建新 IAM 用户的更多信息,请参阅创建 IAM 用户 (控制台),并按照步骤 8 中的说明进行操作。
选择 Download .csv 以保存 AWS 凭证的本地副本。
在您的计算机上,导航至主目录,并创建
.aws目录。在基于 Unix 的系统 (例如 Linux 或 OS X) 上,它在以下位置:~/.aws
在 Windows 上,它在以下位置:
%HOMEPATH%\.aws
在
.aws目录中,创建名为credentials的新文件。打开您从 IAM 控制台中下载的凭证 .csv 文件,并使用以下格式将其内容复制到
credentials文件:[default]
aws_access_key_id = your_access_key_id
aws_secret_access_key = your_secret_access_key保存
credentials文件,并删除在步骤 3 中下载的 .csv 文件。
您的共享凭证文件现在已在本地计算机上配置完毕,可以与 AWS 开发工具包一起使用。
Python 访问示例:
import boto3 #初始化glacier client。
glacier = boto3.client("glacier") #查看指定文件库的基本信息。
vaultresult = glacier.describe_vault(vaultName='testvault') print(vaultresult) #读取文档并上传到文件库。请替换文件名和路径。请保存方法返回信息中的archiveID等信息。该方法指针对文件大小不超过4GB.
file = open("path/filesname", "rb") response = glacier.upload_archive(vaultName='testvault',body=file) print(response) #当文档大小超过4GB,需要使用分段上传。partsize 必须在 1048576 和 4294967296之间,且为2的倍数。
initiateResult = glacier.initiate_multipart_upload(vaultName='testvault',partSize='') uploadID = initiateResult["uploadId"]
print("uploadID:", uploadID) #文档分成几部分,就需要执行以下命令几次。
partresult = glacier.upload_multipart_part(
body=file,
range='bytes 0-1048575/*',
uploadId=uploadID,
vaultName='testvault',
) #在上传完所有部分之后,提交complete请求。
completeresult = glacier.complete_multipart_upload(
vaultName='testvault',
uploadId=uploadID
) #如果想查看文件库中的所有文档基本信息,或检索某个文档,需要提交job。
#如果需要整个文件库中的文档清单,Type使用“inventory-retrieval”,检索恢复某个文档,使用“archive-retrieval”,如果是对某个文档执行select操作,请使用“select”。
response = glacier.initiate_job(
vaultName='testvault',
jobParameters={
'Description': 'My inventory job',
'Type': 'inventory-retrieval',
},
) #检索当前存在的job。
jobresult = glacier.list_jobs(vaultName='testvault') #获取某个任务检索出的数据,可以是清单或文档。如果是检索某个文档中的一部分,请添加range参数。 响应中的body为数据。
output = glacier.get_job_output(
vaultName='testvault',
jobId='string'
)
python访问aws-S3服务的更多相关文章
- AWS S3服务使用
AWS S3是亚马逊的一种文件存储服务使用方便. 一.配置服务 public static class AWS_S3ClientInfo { private static readonly strin ...
- python操作s3服务中的文件
亚马逊云aws提供了s3服务.国内一些云厂商也用了s3技术.要操作s3服务器中的文件需要用到boto这个python包.下面的代码是一个简单例子. #! /usr/bin/python # -*-co ...
- AWS s3 python sdk code examples
Yet another easy-to-understand, easy-to-use aws s3 python sdk code examples. github地址:https://github ...
- Python使用boto3操作AWS S3中踩过的坑
最近在AWS上开发部署应用. 看了这篇关于AWS中国区填坑的文章,结合自己使用AWS的经历,补充两个我自己填的坑. http://www.jianshu.com/p/0d0fd39a40c9?utm_ ...
- Swift是一个提供RESTful HTTP接口的对象存储系统,目的是为了提供一个和AWS S3竞争的服务
Swift是一个提供RESTful HTTP接口的对象存储系统,最初起源于Rackspace的Cloud Files,目的是为了提供一个和AWS S3竞争的服务. Swift于2010年开源,是Ope ...
- AWS S3 对象存储服务
虽然亚马逊云非常牛逼,虽然亚马逊云财大气粗,虽然亚马逊用的人也非常多,可是这个文档我简直无法接受,特别是客服,令人发指的回复速度,瞬间让人无语,可是毕竟牛逼.忍了,躺一次坑而已 1.图片上传 1.1 ...
- [转帖]通俗解释 AWS 云服务每个组件的作用
你有听说过 ContainerCache,ElastiCast 和 QR72 这些 AWS 的新服务吗? 没有就对了,这些都是我编的:) 不过,AWS 有 50 多个服务,从名称也不能看出这些服务是做 ...
- 利用 AWS 无服务架构之语音合成
目录 一.架构图 二.服务部署 2.1.创建 DynamoDB 表 2.2.创建 S3 2.2.1 静态网页存储桶 2.2.2.音频存储桶 2.3.创建 SNS Topic 2.4.为 Lambda ...
- AWS专线服务总结和疑问
1.AWS专线服务的入口, 从介绍页上可以看到,有如下功能: (1)专线可以连接AWS云主机和传统的数据中心或者分支机构. (2)专线可以连接AWS云主机和托管区的主机. 连接要素: (1)需要使用V ...
随机推荐
- 【Tools】PDF编辑软件-pdfelement 6.8 官网文件中文+破解版本
试用了下,感觉还不错分享给大家. 有币的求赏,小弟下载缺币.没币的从附件下载. 赏币地址:https://download.csdn.net/download/qq_18187161/10744059 ...
- [Attention Is All You Need]论文笔记
主流的序列到序列模型都是基于含有encoder和decoder的复杂的循环或者卷积网络.而性能最好的模型在encoder和decoder之间加了attentnion机制.本文提出一种新的网络结构,摒弃 ...
- 方法重载overload与方法重写overwrite
方法重载overload: 在同一个类中,出现相同的方法名,与返回值无关,参数列表不同:1参数的个数不同 2参数类型不同 在调用方法时,java虚拟机会通过参数列表来区分不同同名的方法 方法重写ove ...
- 2019.12.12 Java的多线程&匿名类
Java基础(深入了解概念为主) 匿名类 定义 Java匿名类很像局部或内联系,只是没有明细.我们可以利用匿名类,同时定义并实例化一个类.只有局部类仅被使用一次时才应该这么做. 匿名类不能有显式定义的 ...
- 【作业】Kitchen Plates(拓扑排序)
题目链接:https://vjudge.net/contest/345791#problem/O [问题描述] You are given 5 different sizes of kitchen p ...
- LeetCode 14. 最长公共前缀(Longest Common Prefix)
14. 最长公共前缀 14. Longest Common Prefix 题目描述 编写一个函数来查找字符串数组中的最长公共前缀. 如果不存在公共前缀,返回空字符串 "". Lee ...
- 【已解决】每次打开Excel时会同时打开一个空的Excel表格
每次打开Excel时会同时打开一个空的Excel表格,情况如图. 官方解法如下,本人验证有效: 方法1, 请到以后路径中检查是否存在与空白文件夹同名字的Excel文件,删除它. C:\Users\\A ...
- SQL——INSERT INTO(增)
一.INSERT INTO语句的基本用法 INSERT INTO 语句用于往表中插入新记录. student表: INSERT INTO语句有2种语法格式: 1.不指定列名,直接插入记录. 语法格式如 ...
- PAT(B) 1054 求平均值(Java)
题目链接:1054 求平均值 (20 point(s)) 题目描述 本题的基本要求非常简单:给定 N 个实数,计算它们的平均值.但复杂的是有些输入数据可能是非法的.一个"合法"的输 ...
- 『Python基础』第6节:流程控制之while循环
在生活中经常遇到循环的事情, 比如循环列表播放歌曲等. 在Python中, 也有循环, 就是其流程控制语句while. 1. 基本循环 while 条件: 循环体 # 如果条件为真, 那么就执行循环体 ...