1. 前言

文件服务器是一个应用必要的组件之一。最早我搞过FTP,然后又用过FastDFS,接私活的时候我用MongoDB也凑合凑合。现如今时代不同了,开始流行起了OSS

Gitee: https://gitee.com/felord/kono day06 分支 欢迎Star

GitHub: https://github.com/NotFound403/kono day06 分支 欢迎Star

2. 什么是OSS

全称为Object Storage Service,也叫对象存储服务,是一种解决和处理离散单元的方法,可提供基于分布式系统之上的对象形式的数据存储服务,具有可拓展、可管理、低成本等特点,支持中心和边缘存储,能够实现存储需求的弹性伸缩,主要应用于海量数据管理的各类场景。

这概念真是够难以理解的。简单说点我知道的吧,平常我们的文件地址都是 /User/felord/video/xxx.mp4的目录树结构,系统先要找到User,然后一级一级往下找一直到目标为止,这是一种结构化的存储方式。对象存储就不一样了,所有的文件都放在一个特定的池子里,只不过文件的携带有它自己的元信息,通过元信息去检索文件。这里举一个形象的例子:

{"oss":[
{"file":"xxxxx","meta":{"id":"1111"},"type":""},
{"content":"xxxxx","meta":{"id":"1211"},"type":"","created":"","name":""},
]}

上图的oss就是一个对象存储,它里面存了携带信息不一样、甚至结构都不一样的东西,我们可以根据其元信息meta检索它们。OSS具有以下特点:

  • 效率更高。不受复杂目录系统对性能的影响。
  • 可扩展性更强。分布式架构,更便于进行水平扩展,从而容纳进任意大规模的数据。
  • 可用性更强。数据一般都会有多个位于不同机器的复制,确保数据不丢失。
  • 平台无关,可以通过Restful接口进行操作对象。

OSS通常被用来存储图片、音视频等文件,以及对这些文件的处理。

3. 哪些OSS可以使用

通常我们有两种选择,花钱买或者自己搞。

充钱才能变得更强

这句话这里也是很实用的,目前几乎所有的云厂商都有自己的对象存储产品,你可以对比一下花钱购买它们,通过配合CDN能达到非常好的用户体验,胖哥的felord.cn就使用了云厂商的对象存储。购买他们的服务

  • 可靠性强,数据丢失可能性低。

  • 免维护,不需要自行维护。

  • 可配合其它一些特色功能,比如缩略图、CDN等等。

自己动手丰衣足食

不想花钱就只能自己动手了,目前我知道的开源方案有两种。

一种是Ceph,一个分布式存储系统,高可用,高扩展性。但是一般人玩不转,就连开源中国红薯都被坑惨了。

另一种是Minio,用Golang写的。我目前还没发现有什么坑,文档居然还有中文文档!我用Docker不到三分钟就玩起来了,居然还自带控制台!其它功能也挺齐全,各种客户端SDK齐全。

因为安装过于简单就不演示了。

4. 整合到Spring Boot

无论你花钱还是自己搞都可以,这两种方式各有各的好处。所以我要把这两种方式整合到kono Spring Boot脚手架项目中。这种组件封装成为Spring Boot Starter再好不过了。在日常开发中这种基础组件都建议做成Starter。参考我的 最强自定义Spring Boot Starter教程里的方式,我将aliyunOSS SDKMinio SDK封装成Starter了。

达到了开箱即用。而且非常灵活,你配置哪种使用哪种,可以二选一,也可以全都要,还可以全都不要。

项目地址: https://gitee.com/felord/oss-spring-boot.git。

获取到项目后通过Maven命令mvn install安装到本地依赖库,或者你发布到你的远程私有Maven仓库。然后再引用Starter切记先后步骤

<!--  一定要先拉取项目通过 mvn install 安装到本地  -->
<dependency>
<groupId>cn.felord</groupId>
<artifactId>oss-spring-boot-starter</artifactId>
<version>1.0.0.RELEASE</version>
</dependency>

Minio配置流程

接着就是使用了,先在你Minio的控制台上创建一个bucket,可以理解为一个对象池。

然后把策略设置为可读写

搞完开始在项目中配置,application.yaml中:

oss:
minio:
# 启用
active: true
access-key: minio_access_key
secret-key: felord_cn_sec_key
# minio 地址
endpoint: http://localhost:9000

aliyun OSS 配置流程

额外引入依赖:

<dependency>
<groupId>com.aliyun.oss</groupId>
<artifactId>aliyun-sdk-oss</artifactId>
<version>2.5.0</version>
</dependency>
<dependency>
<groupId>com.aliyun</groupId>
<artifactId>aliyun-java-sdk-core</artifactId>
<version>4.3.8</version>
</dependency>

这是必须的步骤。

ali OSS控制台申请Minio差不多的几样东西用来配置:

oss:
aliyun:
active: true
access-key-id: LTAI4GH4EQXtKEbJDrADvWNH
access-key-secret: XjDpNn5JqHAHPDXGL6xIebyUkyFAZ7
endpoint: oss-cn-beijing.aliyuncs.com

Starter的使用

以下是我对OSS操作的抽象接口:

package cn.felord.oss;

import java.io.InputStream;

/**
* The interface Storage.
*
* @author felord.cn
* @since 2020 /8/24 19:54
*/
public interface Storage { /**
* 存放对象
*
* @param bucketName bucket 名称
* @param objectName 自定义对象名称
* @param inputStream 对象的输入流
* @param contentType 参考http 的 MimeType 值
* @throws Exception the exception
*/
void putObject(String bucketName, String objectName, InputStream inputStream, String contentType) throws Exception; /**
* 获取对象
*
* @param bucketName the bucket name
* @param objectName the object name
* @return the object
*/
InputStream getObject(String bucketName, String objectName) throws Exception; /**
* 获取对象的URL
*
* @param bucketName the bucket name
* @param objectName the object name
* @return the object url
*/
String getObjectUrl(String bucketName, String objectName) throws Exception; /**
* 删除对象
*
* @param bucketName the bucket name
* @param objectName the object name
*/
void removeObject(String bucketName, String objectName) throws Exception; }

然后分别使用了以上两种OSS进行了实现。

并分别以aliyunStorageminioStorage为名称将AliyunStorageMinioStorage注入Spring IoC

使用起来非常简单:

@Autowired
@Qualifier("minioStorage")
Storage storage; @Test
public void testOss() throws Exception {
File file = new File("./456.jpg"); InputStream inputStream = new FileInputStream(file); storage.putObject("img","pic_122",inputStream, MimeTypeUtils.IMAGE_JPEG_VALUE);
}

5. 总结

今天的整合与往常不太一样,主要是一些通用功能的组件化封装的实际演示,另外简单描述了对象存储的功能和使用场景,希望对你有用。多多关注:码农小胖哥,跟我一起整合脚手架。

关注公众号:Felordcn 获取更多资讯

个人博客:https://felord.cn

从零搭建Spring Boot脚手架(7):整合OSS作为文件服务器的更多相关文章

  1. 从零搭建Spring Boot脚手架(1):开篇以及技术选型

    1. 前言 目前Spring Boot已经成为主流的Java Web开发框架,熟练掌握Spring Boot并能够根据业务来定制Spring Boot成为一个Java开发者的必备技巧,但是总是零零碎碎 ...

  2. 从零搭建Spring Boot脚手架(2):增加通用的功能

    1. 前言 今天开始搭建我们的kono Spring Boot脚手架,首先会集成Spring MVC并进行定制化以满足日常开发的需要,我们先做一些刚性的需求定制,后续再补充细节.如果你看了本文有什么问 ...

  3. 从零搭建Spring Boot脚手架(3):集成mybatis

    1. 前言 今天继续搭建我们的kono Spring Boot脚手架,上一文集成了一些基础的功能,比如统一返回体.统一异常处理.快速类型转换.参数校验等常用必备功能,并编写了一些单元测试进行验证,今天 ...

  4. 从零搭建Spring Boot脚手架(4):手写Mybatis通用Mapper

    1. 前言 今天继续搭建我们的kono Spring Boot脚手架,上一文把国内最流行的ORM框架Mybatis也集成了进去.但是很多时候我们希望有一些开箱即用的通用Mapper来简化我们的开发.我 ...

  5. 从零搭建Spring Boot脚手架(7):Elasticsearch应该独立服务

    1. Spring Data Elasticsearch Spring Data Elasticsearch是Spring Data项目的子项目,提供了Elasticsearch与Spring的集成. ...

  6. 从零搭建Spring Boot脚手架(6):整合Redis作为缓存

    1. 前言 上一文我们整合了Mybatis Plus,今天我们会把缓存也集成进来.缓存是一个系统应用必备的一种功能,除了在减轻数据库的压力之外.还在存储一些短时效的数据场景中发挥着重大作用,比如存储用 ...

  7. 从零搭建Spring Boot脚手架(5):整合 Mybatis Plus

    1. 前言 在上一文中我根据Mybatis中Mapper的生命周期手动实现了一个简单的通用Mapper功能,但是遗憾的是它缺乏实际生产的检验.因此我选择更加成熟的一个Mybatis开发增强包.它就是已 ...

  8. RabbitMQ入门:在Spring Boot 应用中整合RabbitMQ

    在上一篇随笔中我们认识并安装了RabbitMQ,接下来我们来看下怎么在Spring Boot 应用中整合RabbitMQ. 先给出最终目录结构: 搭建步骤如下: 新建maven工程amqp 修改pom ...

  9. Spring Boot 2.0 整合携程Apollo配置中心

    原文:https://www.jianshu.com/p/23d695af7e80 Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应用不同环境.不同集群的配置,配置修改后能够 ...

随机推荐

  1. 没有学历如何从事Java开发?

    学历成了当今社会一个衡量一个人能力的标准,未来只会越来越深入,也有的人说不要总是把学历挂嘴边,学历并不能代表能力,确实学历不能代表能力,但是学历是能代表一个的人学习深度,也是在职场上必备的一个敲门砖. ...

  2. PHP array_intersect_ukey() 函数

    实例 比较两个数组的键名(使用用户自定义函数比较键名),并返回交集: <?phpfunction myfunction($a,$b){if ($a===$b){return 0;}return ...

  3. PHP rsort() 函数

    实例 对数组 $cars 中的元素按字母进行降序排序: <?php$cars=array("Volvo","BMW","Toyota" ...

  4. C/C++编程笔记:C语言基础printf()和scanf()函数,大学入门知识

    在解释这两个函数之前,为了方便大家更容易理解,我们先来讲讲下面的这幅图. ​ 这个图中的例子其实很简单,我们就是把题目通过输入设备(例如键盘鼠标)传输到计算机中,然后让计算机进行运算得出结果,再然后把 ...

  5. Error:java:错误:不支持发行版本 5(或写着其他版本的~)

      很多人会出现:Error:java:错误:不支持发行版本 5(或13等版本),均是因为此几个地方版本不一致 [若你下载的jdk版本真的是5,请你更新jdk !!]   (上图打开方式:左上角,Fi ...

  6. Java并发学习(一):进程和线程

    好好学习,天天向上 本文已收录至我的Github仓库DayDayUP:github.com/RobodLee/DayDayUP,欢迎Star,更多文章请前往:目录导航 前言 俗话说得好"一人 ...

  7. jar包冲突解决

    背景: 新需求需要引入新jar包,引入后发现本地启动没有报错,发到测试环境提示某个bean无法创建,nested exception is java.lang.VerifyError: Bad typ ...

  8. PEP8之常用编码规范-摘自官网

    PEP8是广泛应用于Python编码中的规范,这里只会记录最重要的一部分:摘自官网 使用4个空格缩进,不要使用制表符. 4个空格是一个在小缩进(允许更大的嵌套深度)和大缩进(更容易阅读)的一种很好的折 ...

  9. sqlzoo刷题 SELECT from Nobel Tutorial

    SELECT from Nobel Tutorial 1.Change the query shown so that it displays Nobel prizes for 1950. SELEC ...

  10. 前端面试 vue 部分 (3)——v-show和v-if的区别

    v-if 适用于在运行时很少改变条件,不需要频繁切换条件的场景: v-show 则适用于需要非常频繁切换条件的场景. v-if 是条件渲染,如果在初始渲染时条件为假,则什么也不做--直到条件第一次变为 ...