Amazon S3 对象存储Java API操作记录（Minio与S3 SDK两种实现）
缘起
今年(2023年) 2月的时候做了个适配Amazon S3对象存储接口的需求，由于4月份自学考试临近，一直在备考就拖着没总结记录下，开发联调过程中也出现过一些奇葩的问题，最近人刚从考试缓过来顺手记录一下。
S3对象存储的基本概念
S3是什么？
Amazon S3(Simple Storage Service)对象存储出现得比较早且使用简单的RESTful API，于是成为了对象存储服务(Object Storage Service，OSS)业内的标准接口规范。
S3的逻辑模型
如下图，我们可以把S3的存储空间想象成无限的，想存储一个任意格式的文件到S3服务中，只需要知道要把它放到哪个桶(Bucket)中，它的名字（Object Id）应该是什么。
按图中的模型，可简单理解为S3是由若干个桶（Bucket）组成，每个桶中包含若干个不同标识的对象（Object），还有就是统一的访问入口(RESTful API)，这样基本就足够了。
Minio客户端方式操作S3
详细API文档：https://min.io/docs/minio/linux/developers/java/API.html
以下代码异常处理做了简化，真实使用时请注意捕获异常做处理。
引入依赖
Maven:
<dependency>
<groupId>io.minio</groupId>
<artifactId>minio</artifactId>
<version>8.5.2</version>
</dependency>
Gradle:
dependencies {
implementation("io.minio:minio:8.5.2")
}
初始化客户端
private static final String HTTP_PROTOCOL = "http";
private MinioClient minioClient;
private String endpoint = "http://192.168.0.8:9200";
private String accessKey = "testKey";
private String secretKey = "testSecretKey";
public void init() throws MalformedURLException {
URL endpointUrl = new URL(endpoint);
try {
// url上无端口号时，识别http为80端口，https为443端口
int port = endpointUrl.getPort() != -1 ? endpointUrl.getPort() : endpointUrl.getDefaultPort();
boolean security = HTTP_PROTOCOL.equals(endpointUrl.getProtocol()) ? false : true;
//@formatter:off
this.minioClient = MinioClient.builder().endpoint(endpointUrl.getHost(), port, security)
.credentials(accessKey, secretKey).build();
//@formatter:on
// 忽略证书校验，防止自签名证书校验失败导致无法建立连接
this.minioClient.ignoreCertCheck();
} catch (Exception e) {
e.printStackTrace();
}
}
建桶
public boolean createBucket(String bucket) {
try {
minioClient.makeBucket(MakeBucketArgs.builder().bucket(bucket).build());
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
删桶
public boolean deleteBucket(String bucket) {
try {
minioClient.removeBucket(RemoveBucketArgs.builder().bucket(bucket).build());
logger.info("删除桶[{}]成功", bucket);
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
判断桶是否存在
public boolean bucketExists(String bucket) {
try {
return minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucket).build());
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
上传对象
public void upload(String bucket, String objectId, InputStream input) {
try {
//@formatter:off
minioClient.putObject(PutObjectArgs.builder().bucket(bucket).object(objectId)
.stream(input, input.available(), -1)
.build());
//@formatter:on
} catch (Exception e) {
e.printStackTrace();
}
}
下载对象
提供两个下载方法，一个将输入流返回，另一个用参数输出流写出
public InputStream download(String bucket, String objectId) {
try {
return minioClient.getObject(GetObjectArgs.builder().bucket(bucket).object(objectId).build());
} catch (Exception e) {
e.printStackTrace();
}
return null;
}
public void download(String bucket, String objectId, OutputStream output) {
//@formatter:off
try (InputStream input = minioClient.getObject(
GetObjectArgs.builder().bucket(bucket).object(objectId).build())) {
IOUtils.copyLarge(input, output);
} catch (Exception e) {
e.printStackTrace();
}
//@formatter:on
}
删除对象
public boolean deleteObject(String bucket, String objectId) {
//@formatter:off
try {
minioClient.removeObject(RemoveObjectArgs.builder()
.bucket(bucket).object(objectId).build());
} catch (Exception e) {
e.printStackTrace();
}
//@formatter:on
return true;
}
判断对象是否存在
public boolean objectExists(String bucket, String key) {
//@formatter:off
try {
// minio客户端未提供判断对象是否存在的方法，此方法中调用出现异常时说明对象不存在
minioClient.statObject(StatObjectArgs.builder()
.bucket(bucket).object(key).build());
} catch (Exception e) {
return false;
}
//@formatter:on
return true;
}
完整代码
import java.io.InputStream;
import java.io.OutputStream;
import java.net.MalformedURLException;
import java.net.URL;
import org.apache.tomcat.util.http.fileupload.IOUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import io.minio.BucketExistsArgs;
import io.minio.GetObjectArgs;
import io.minio.MakeBucketArgs;
import io.minio.MinioClient;
import io.minio.PutObjectArgs;
import io.minio.RemoveBucketArgs;
import io.minio.RemoveObjectArgs;
import io.minio.StatObjectArgs;
public class S3MinioClientDemo {
private static final Logger logger = LoggerFactory.getLogger(S3MinioClientDemo.class);
private static final String HTTP_PROTOCOL = "http";
private MinioClient minioClient;
private String endpoint = "http://192.168.0.8:9200";
private String accessKey = "testKey";
private String secretKey = "testSecretKey";
public void init() throws MalformedURLException {
URL endpointUrl = new URL(endpoint);
try {
// url上无端口号时，识别http为80端口，https为443端口
int port = endpointUrl.getPort() != -1 ? endpointUrl.getPort() : endpointUrl.getDefaultPort();
boolean security = HTTP_PROTOCOL.equals(endpointUrl.getProtocol()) ? false : true;
//@formatter:off
this.minioClient = MinioClient.builder().endpoint(endpointUrl.getHost(), port, security)
.credentials(accessKey, secretKey).build();
//@formatter:on
// 忽略证书校验，防止自签名证书校验失败导致无法建立连接
this.minioClient.ignoreCertCheck();
} catch (Exception e) {
e.printStackTrace();
}
}
public boolean createBucket(String bucket) {
try {
boolean found = minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucket).build());
if (found) {
logger.info("桶名[{}]已存在", bucket);
return false;
}
minioClient.makeBucket(MakeBucketArgs.builder().bucket(bucket).build());
} catch (Exception e) {
e.printStackTrace();
}
return true;
}
public boolean deleteBucket(String bucket) {
try {
minioClient.removeBucket(RemoveBucketArgs.builder().bucket(bucket).build());
logger.info("删除桶[{}]成功", bucket);
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
public boolean bucketExists(String bucket) {
try {
return minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucket).build());
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
public void upload(String bucket, String objectId, InputStream input) {
try {
//@formatter:off
minioClient.putObject(PutObjectArgs.builder().bucket(bucket).object(objectId)
.stream(input, input.available(), -1)
.build());
//@formatter:on
} catch (Exception e) {
e.printStackTrace();
}
}
public InputStream download(String bucket, String objectId) {
try {
return minioClient.getObject(GetObjectArgs.builder().bucket(bucket).object(objectId).build());
} catch (Exception e) {
e.printStackTrace();
}
return null;
}
public void download(String bucket, String objectId, OutputStream output) {
//@formatter:off
try (InputStream input = minioClient.getObject(
GetObjectArgs.builder().bucket(bucket).object(objectId).build())) {
IOUtils.copyLarge(input, output);
} catch (Exception e) {
e.printStackTrace();
}
//@formatter:on
}
public boolean objectExists(String bucket, String objectId) {
//@formatter:off
try {
// minio客户端未提供判断对象是否存在的方法，此方法中调用出现异常时说明对象不存在
minioClient.statObject(StatObjectArgs.builder()
.bucket(bucket).object(objectId).build());
} catch (Exception e) {
return false;
}
//@formatter:on
return true;
}
public boolean deleteObject(String bucket, String objectId) {
//@formatter:off
try {
minioClient.removeObject(RemoveObjectArgs.builder()
.bucket(bucket).object(objectId).build());
} catch (Exception e) {
e.printStackTrace();
}
//@formatter:on
return true;
}
public void close() {
minioClient = null;
}
}
Amazon S3 SDK方式操作S3
官方API文档：https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html
这里由于项目上提供的SDK和文档都是1.x的，这里就暂时只提供1.x的代码
引入依赖
Maven:
<dependency>
<groupId>com.amazonaws</groupId>
<artifactId>aws-java-sdk-s3</artifactId>
<version>1.11.300</version>
</dependency>
Gradle:
dependencies {
implementation 'com.amazonaws:aws-java-sdk-s3:1.11.300'
}
初始化客户端
private static final Logger logger = LoggerFactory.getLogger(S3SdkDemo.class);
private AmazonS3 s3client;
private String endpoint = "http://192.168.0.8:9200";
private String accessKey = "testKey";
private String secretKey = "testSecretKey";
public void init() throws MalformedURLException {
URL endpointUrl = new URL(endpoint);
String protocol = endpointUrl.getProtocol();
int port = endpointUrl.getPort() == -1 ? endpointUrl.getDefaultPort() : endpointUrl.getPort();
ClientConfiguration clientConfig = new ClientConfiguration();
clientConfig.setSignerOverride("S3SignerType");
clientConfig.setProtocol(Protocol.valueOf(protocol.toUpperCase()));
// 禁用证书检查，避免https自签证书校验失败
System.setProperty("com.amazonaws.sdk.disableCertChecking", "true");
// 屏蔽 AWS 的 MD5 校验，避免校验导致的下载抛出异常问题
System.setProperty("com.amazonaws.services.s3.disableGetObjectMD5Validation", "true");
AWSCredentials awsCredentials = new BasicAWSCredentials(accessKey, secretKey);
// 创建 S3Client 实例
AmazonS3 s3client = new AmazonS3Client(awsCredentials, clientConfig);
s3client.setEndpoint(endpointUrl.getHost() + ":" + port);
s3client.setS3ClientOptions(S3ClientOptions.builder().setPathStyleAccess(true).build());
this.s3client = s3client;
}
建桶
public boolean createBucket(String bucket) {
String bucketName = parseBucketName(bucket);
try {
if (s3client.doesBucketExist(bucketName)) {
logger.warn("bucket[{}]已存在", bucketName);
return false;
}
s3client.createBucket(bucketName);
} catch (Exception e) {
e.printStackTrace();
}
return true;
}
删桶
public boolean deleteBucket(String bucket) {
try {
s3client.deleteBucket(bucket);
logger.info("删除bucket[{}]成功", bucket);
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
判断桶是否存在
public boolean bucketExists(String bucket) {
try {
return s3client.doesBucketExist(bucket);
} catch (Exception e) {
e.printStackTrace();
}
return false;
}
上传对象
public void upload(String bucket, String objectId, InputStream input) {
try {
// 创建文件上传的元数据
ObjectMetadata meta = new ObjectMetadata();
// 设置文件上传长度
meta.setContentLength(input.available());
// 上传
s3client.putObject(bucket, objectId, input, meta);
} catch (Exception e) {
e.printStackTrace();
}
}
下载对象
public InputStream download(String bucket, String objectId) {
try {
S3Object o = s3client.getObject(bucket, objectId);
return o.getObjectContent();
} catch (Exception e) {
e.printStackTrace();
}
return null;
}
public void download(String bucket, String objectId, OutputStream out) {
S3Object o = s3client.getObject(bucket, objectId);
try (InputStream in = o.getObjectContent()) {
IOUtils.copyLarge(in, out);
} catch (Exception e) {
e.printStackTrace();
}
}
删除对象
public boolean deleteObject(String bucket, String objectId) {
try {
s3client.deleteObject(bucket, objectId);
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
判断对象是否存在
public boolean existObject(String bucket, String objectId) {
try {
return s3client.doesObjectExist(bucket, objectId);
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
完整代码
import java.io.InputStream;
import java.io.OutputStream;
import java.net.MalformedURLException;
import java.net.URL;
import org.apache.tomcat.util.http.fileupload.IOUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import com.amazonaws.ClientConfiguration;
import com.amazonaws.Protocol;
import com.amazonaws.auth.AWSCredentials;
import com.amazonaws.auth.BasicAWSCredentials;
import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.AmazonS3Client;
import com.amazonaws.services.s3.S3ClientOptions;
import com.amazonaws.services.s3.model.ObjectMetadata;
import com.amazonaws.services.s3.model.S3Object;
/**
* S3对象存储官方SDK实现
*
* @author ZhangChenguang
* @date 2023年2月2日
*/
@SuppressWarnings("deprecation")
public class S3SdkDemo {
private static final Logger logger = LoggerFactory.getLogger(S3SdkDemo.class);
private AmazonS3 s3client;
private String endpoint = "http://192.168.0.8:9200";
private String accessKey = "testKey";
private String secretKey = "testSecretKey";
public void init() throws MalformedURLException {
URL endpointUrl = new URL(endpoint);
String protocol = endpointUrl.getProtocol();
int port = endpointUrl.getPort() == -1 ? endpointUrl.getDefaultPort() : endpointUrl.getPort();
ClientConfiguration clientConfig = new ClientConfiguration();
clientConfig.setSignerOverride("S3SignerType");
clientConfig.setProtocol(Protocol.valueOf(protocol.toUpperCase()));
// 禁用证书检查，避免https自签证书校验失败
System.setProperty("com.amazonaws.sdk.disableCertChecking", "true");
// 屏蔽 AWS 的 MD5 校验，避免校验导致的下载抛出异常问题
System.setProperty("com.amazonaws.services.s3.disableGetObjectMD5Validation", "true");
AWSCredentials awsCredentials = new BasicAWSCredentials(accessKey, secretKey);
// 创建 S3Client 实例
AmazonS3 s3client = new AmazonS3Client(awsCredentials, clientConfig);
s3client.setEndpoint(endpointUrl.getHost() + ":" + port);
s3client.setS3ClientOptions(S3ClientOptions.builder().setPathStyleAccess(true).build());
this.s3client = s3client;
}
public boolean createBucket(String bucket) {
try {
s3client.createBucket(bucket);
} catch (Exception e) {
e.printStackTrace();
}
return true;
}
public boolean deleteBucket(String bucket) {
try {
s3client.deleteBucket(bucket);
logger.info("删除bucket[{}]成功", bucket);
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
public boolean bucketExists(String bucket) {
try {
return s3client.doesBucketExist(bucket);
} catch (Exception e) {
e.printStackTrace();
}
return false;
}
public void upload(String bucket, String objectId, InputStream input) {
try {
// 创建文件上传的元数据
ObjectMetadata meta = new ObjectMetadata();
// 设置文件上传长度
meta.setContentLength(input.available());
// 上传
s3client.putObject(bucket, objectId, input, meta);
} catch (Exception e) {
e.printStackTrace();
}
}
public InputStream download(String bucket, String objectId) {
try {
S3Object o = s3client.getObject(bucket, objectId);
return o.getObjectContent();
} catch (Exception e) {
e.printStackTrace();
}
return null;
}
public void download(String bucket, String objectId, OutputStream out) {
S3Object o = s3client.getObject(bucket, objectId);
try (InputStream in = o.getObjectContent()) {
IOUtils.copyLarge(in, out);
} catch (Exception e) {
e.printStackTrace();
}
}
public boolean existObject(String bucket, String objectId) {
try {
return s3client.doesObjectExist(bucket, objectId);
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
public boolean deleteObject(String bucket, String objectId) {
try {
s3client.deleteObject(bucket, objectId);
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
public void close() {
s3client = null;
}
}
遇到的问题
1、bucket名称必须是小写，不支持下划线
- 处理方式：写方法转换下bucket名称，将大写转小写，将下划线替换为中划线。
2、minio客户端下载非官方S3存储的文件时，如果响应头的Content-Length与实际文件大小不符，会导致minio客户端包装的okhttp3报错
报错信息：
Caused by: java.net.ProtocolException: unexpected end of stream
at okhttp3.internal.http1.Http1ExchangeCodec$FixedLengthSource.read(Http1ExchangeCodec.java:430) ~[okhttp-3.14.9.jar:?]
at okhttp3.internal.connection.Exchange$ResponseBodySource.read(Exchange.java:286) ~[okhttp-3.14.9.jar:?]
at okio.RealBufferedSource$1.read(RealBufferedSource.java:447) ~[okio-1.17.2.jar:?]
at com.jiuqi.nr.file.utils.FileUtils.writeInput2Output(FileUtils.java:83) ~[nr.file-2.5.7.jar:?]
at com.jiuqi.nr.file.impl.FileAreaServiceImpl.download(FileAreaServiceImpl.java:395) ~[nr.file-2.5.7.jar:?]
... 122 more
抓包发现问题的图：
最终换成了S3官方SDK可用了。
PS：客户现场部署的S3是浪潮公司提供的，如果现场遇到这个情况，就不要固执去找对方对线了，完全没用。。
总结
S3存储的基本操作就记录到这里了，由于没有S3存储就没尝试官方SDK的V2版本，由于这些代码是总结时从业务代码里抽取出来的，可能会有点问题，但大体思路已经有了。
希望对读者有所用处，觉得写得不错和有帮到你，欢迎点个赞，您的支持就是我的鼓励！
Amazon S3 对象存储Java API操作记录（Minio与S3 SDK两种实现）的更多相关文章
- Golang 调用 aws-sdk 操作 S3对象存储
Golang 调用 aws-sdk 操作 S3对象存储 前言 因为业务问题,要写一个S3对象存储管理代码,由于一直写Go,所以这次采用了Go,Go嘛,快,自带多线程,这种好处就不用多说了吧. 基础的功 ...
- 【系统设计】S3 对象存储
在本文中,我们设计了一个类似于 Amazon Simple Storage Service (S3) 的对象存储服务.S3 是 Amazon Web Services (AWS) 提供的一项服务, 它 ...
- MongoDB Java API操作很全的整理
MongoDB 是一个基于分布式文件存储的数据库.由 C++ 语言编写,一般生产上建议以共享分片的形式来部署. 但是MongoDB官方也提供了其它语言的客户端操作API.如下图所示: 提供了C.C++ ...
- 使用Java API操作HDFS文件系统
使用Junit封装HFDS import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org ...
- Hadoop之HDFS（三）HDFS的JAVA API操作
HDFS的JAVA API操作 HDFS 在生产应用中主要是客户端的开发,其核心步骤是从 HDFS 提供的 api中构造一个 HDFS 的访问客户端对象,然后通过该客户端对象操作(增删改查)HDFS ...
- zookeeper的java api操作
zookeeper的java api操作 创建会话: Zookeeper(String connectString,int sessionTimeout,Watcher watcher) Zookee ...
- java api操作
java api操作 导入开发包 将hbase安装包中lib下包导入java项目 创建表 Configuration conf = HBaseConfiguration.create(); c ...
- HDFS 05 - HDFS 常用的 Java API 操作
目录 0 - 配置 Hadoop 环境(Windows系统) 1 - 导入 Maven 依赖 2 - 常用类介绍 3 - 常见 API 操作 3.1 获取文件系统(重要) 3.2 创建目录.写入文件 ...
- hive-通过Java API操作
通过Java API操作hive,算是测试hive第三种对外接口 测试hive 服务启动 package org.admln.hive; import java.sql.SQLException; i ...
- hadoop2-HBase的Java API操作
Hbase提供了丰富的Java API,以及线程池操作,下面我用线程池来展示一下使用Java API操作Hbase. 项目结构如下: 我使用的Hbase的版本是 hbase-0.98.9-hadoop ...
随机推荐
- SQL Server之Cross apply
1 --这样是不行的 2 select sys.dm_exec_sql_text(most_recent_sql_handle) from sys.dm_exec_connections 3 4 -- ...
- 2020.4.28关于pta的总结
0.前言 这次作业针对的是oo程序设计第二单元(5-8周)的作业,在整体当中属于第4到第6次作业. 此三次作业的知识要点为:继承类,多态性,字符串,结构类,接口类. 此三次作业的时间为20.4.12- ...
- python补全用法，windows环境和linux环境
一.windows中python tab具体如下: 1.python3环境装好后,初始环境是没有装readline模块的,先装它. pip install pyreadline 2.在在python的 ...
- 2020.11.24 javaScript匿名函数的使用
参考链接:http://www.voidcn.com/article/p-ngxxuegm-bmv.html 匿名函数: 函数表达式中创建的函数叫做匿名函数,也就是没有函数名的函数. 自执行函数: 创 ...
- 转载C#加密方法
方法一: //须添加对System.Web的引用 using System.Web.Security; ... /// <summary> ...
- 修改百分浏览器（centbrowser）、谷歌和火狐浏览器默认字体的方法
1,百分浏览器(centbrowser) 在浏览器的安装位置D:\Program Files\Cent Browser\User Data编辑文件custome.css,如果没有此文件可新建一个,内容 ...
- 记：crontab定时器读取env信息不全
背景: 有这样一段代码,有两种执行方式: crontab定时器.手动执行 #!bin.bash echo $redispasswd 你猜,结果一样不? 1.手动执行 2.crontab定时器 创建 ...
- 读取远程服务器linux指定目录下文本内容（工具类）
package com.aa.dataadmin.common.utils; import cn.hutool.extra.ssh.JschUtil; import com.jcraft.jsch.C ...
- Flutter 2 渲染原理和如何实现视频渲染
7 月 17 日下午,在前端专场巡回沙龙北京站中,声网Agora跨平台开发工程师卢旭辉带来了<Flutter2 渲染原理和如何实现视频渲染>的主题分享,本文是对演讲内容的整理. 本次分享主 ...
- WPF监听快捷键的几种方式
调用Win32 API(优先级最高,全局监听, 支持最小化失焦等情况) 那么,假如我要在一个WPF程序监听CTRL+5按键,首先在主窗口程序添加以下代码: /// <summary> // ...