Spring Boot使用MongoDB GridFS进行文件的操作

1. GridFS简介

GridFS 用于存储和恢复那些超过16M（BSON文件限制）的文件(如：图片、音频、视频等)，但是它是存储在MonoDB的集合中。

GridFS 会将文件对象分割成多个的chunk(文件片段)，一般为256k/个，每个chunk将作为MongoDB的一个文档(document)被存储在chunks集合中。

GridFS 用两个集合来存储一个文件：fs.files与fs.chunks。

每个文件的实际内容被存在chunks(二进制数据)中，和文件有关的meta数据(filename、content_type、还有用户自定义的属性)将会被存在files集合中。

以下是简单的 fs.files 集合文档：

{
    "_id" : ObjectId("5de752d43f189c3260063ce9"),    // 文件id
    "filename" : "index_banner.ftl",                 // 文件名
    "length" : NumberLong(1908),                     // 文件长度
    "chunkSize" : 261120,                            // chunk的大小
    "uploadDate" : ISODate("2019-12-04T14:31:48.487+08:00"),  // 上传时间
    "md5" : "a8d14fbafebfca33c8abdac2b83840cc",        // 文件的md5值
    "contentType" : "text/plain"     // 文件的MIME类型
}

以下是简单的 fs.chunks 集合文档：

{
   "_id" : ObjectId("5de752d43f189c3260063cea"),        // chunk的id
    "files_id" : ObjectId("5de752d43f189c3260063ce9"),  // 文件id，对应fs.files中对象id
    "n" : 0,                                    // 文件的第几个chunk块，如果文件大于chunksize的话，会被分割成多个chunk块
    "data" : "Mongo Binary Data"                // 文件的二进制数据
}

2.代码示例

代码基于spring boot，主要实现GridFS的基本操作。

（1）pom.xml中引入

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-mongodb</artifactId>
</dependency>

（2）application.yml配置

spring:
  data:
    mongodb:
      uri: mongodb://localhost:27017
      database: note_test

（3）基本操作

package com.maybesuch.controller;

import com.mongodb.client.gridfs.model.GridFSFile;
import org.apache.commons.io.IOUtils;
import org.bson.types.ObjectId;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.mongodb.core.query.Criteria;
import org.springframework.data.mongodb.core.query.Query;
import org.springframework.data.mongodb.gridfs.GridFsResource;
import org.springframework.data.mongodb.gridfs.GridFsTemplate;
import org.springframework.web.bind.annotation.*;
import org.springframework.web.multipart.MultipartFile;
import java.io.IOException;
import java.io.InputStream;
import java.util.HashMap;
import java.util.Map;

/**
 * @author : maybesuch
 * @version : 1.0
 * @Description : GridFS文件基本操作
 * @Date : 2020/1/8 10:16
 * @Copyright : Copyright (c) 2020 All Rights Reserved
 **/
@RestController
@RequestMapping("/gridfs")
public class GridFSController {

    @Autowired
    private GridFsTemplate gridFsTemplate;

    /**
     * 上传文件
     *
     * @param multipartFile 文件
     * @return 上传成功文件id
     */
    @PostMapping("/upload")
    public String uploadFile(@RequestParam(value = "file") MultipartFile multipartFile) {

        // 设置meta数据值
        Map<String, String> metaData = new HashMap<>();
        metaData.put("tags", "test");
        // ...
        try (
                InputStream inputStream = multipartFile.getInputStream();
        ) {
            // 获取文件的源名称
            String fileName = multipartFile.getOriginalFilename();
            // 进行文件存储
            ObjectId objectId = gridFsTemplate.store(inputStream, fileName, metaData);
            // 返回文件的id
            return objectId.toHexString();

        } catch (IOException e) {
            e.printStackTrace();
        }
        return null;
    }

    /**
     * 获取文件信息
     * @param fileId 文件id
     */
    @GetMapping("/get/{fileId}")
    public void getFile(@PathVariable("fileId") String fileId) {

        //根据id查询文件
        GridFSFile gridFSFile = gridFsTemplate.findOne(Query.query(Criteria.where("_id").is(fileId)));

        if (gridFSFile == null) {
            throw new RuntimeException("No file with id: " + fileId);
        }
        //获取流对象
        GridFsResource resource = gridFsTemplate.getResource(gridFSFile);

        /*可根据实际需求进行数据的获取*/
        try {
            //获取流中的数据
            String content = IOUtils.toString(resource.getInputStream(), "UTF-8");
            //获取byte[]信息
            byte[] bytes = IOUtils.toByteArray(resource.getInputStream());

        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    /**
     * 删除文件
     * @param fileId 文件id
     */
    @DeleteMapping("/delete")
    public void deleteFile(@RequestParam(value = "fileId") String fileId) {
        // 根据文件id删除fs.files和fs.chunks中的记录
        gridFsTemplate.delete(Query.query(Criteria.where("_id").is(fileId)));

    }

}