BIGFILE Github地址： https://github.com/bigfile/bigfile 欢迎大家前来issue & star

BIGFILE 中文文档地址：https://learnku.com/docs/bigfile/1.0

BIGFILE基本介绍

Bigfile 是使用 Golang 开发的一个文件传输管理系统，支持通过 HTTP API，RPC 调用以及 FTP 客户端管理文件。它构建于许多优秀的开源项目之上，基于数据库实现了一个虚拟的文件组织系统，在 Bigfile 中您可以看到熟悉的文件夹和文件，这种实现方式也是我们权限控制的基础。在底层，Bigfile 将任何文件切分成 1 MB 的文件块存储， 我们称之为 Chunk ，每个 Chunk 依据 sha256 算法计算 Hash 值相互区分，相同的 Chunk 只会被存储一次。

这里放一个前端http 方式上传文件的demo

<!DOCTYPE html>

<html lang="en">

  <head>

    <meta charset="UTF-8" />

    <title>upload</title>

    <script src="https://cdn.bootcss.com/jquery/3.2.1/jquery.min.js"></script>

  </head>

  <body>

    <input type="file" name="file" id="file" />

    <button id="upload" onClick="upload()">upload</button>

    <script type="text/javascript">

      function randomString() {

        var chars =

          '0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ'

        var result = ''

        for (var i = 32; i > 0; --i)

          result += chars[Math.floor(Math.random() * chars.length)]

        return result

      }

      function getFileType(filePath) {

        var startIndex = filePath.lastIndexOf('.')

        if (startIndex != -1)

          return filePath.substring(startIndex, filePath.length).toLowerCase()

        else return ''

      }

      var bytesPerPiece = 1024 * 1024 // 每个文件切片大小定为1MB .

      var totalPieces

      //发送请求

      async function upload() {

        var blob = document.getElementById('file').files[0]

        var start = 0

        var end

        var index = 0

        var filesize = blob.size

        var filename = blob.name

        var token = '978f57c67f9c271e3ce78b9f1176aae4'

        var t = new Date()

        //计算文件切片总数

        totalPieces = Math.ceil(filesize / bytesPerPiece)

        let randFileName =

          '/asset/' +

          t.getFullYear() +

          '/' +

          t.getMonth() +

          '/' +

          t.getDate() +

          randomString() +

          getFileType(filename)

        while (start < filesize) {

          end = start + bytesPerPiece

          if (end > filesize) {

            end = filesize

          }

          var chunk = blob.slice(start, end) //切割文件

          var sliceIndex = blob.name + index

          var formData = new FormData()

          formData.append('file', chunk, filename)

          formData.append('path', randFileName)

          formData.append('nonce', randomString())

          formData.append('token', token)

          formData.append('append', start != 0)

          formData.append('size', end - start)

          let res = await $.ajax({

            url: 'http://localhost:10985/api/bigfile/file/create',

            type: 'POST',

            cache: false,

            data: formData,

            processData: false,

            contentType: false

          })

          console.log(res)

          start = end

          index++

        }

      }

    </script>

  </body>

</html>

文件分片方法参考：https://www.cnblogs.com/sghy/p/9143955.html

go bigfile （文件传输管理系统）前端分片上传demo的更多相关文章

  1. vue+element+oss实现前端分片上传和断点续传

    纯前端实现: 切片上传 断点续传 .断点续传需要在切上上传的基础上实现 前端之前上传OSS,无需后端提供接口.先上完整代码,直接复制,将new OSS里的参数修改成自己公司OSS相关信息后可用,如遇问 ...

  2. 阿里云OSS分片上传DEMO

    分片传输规则 1.不能超过10000片,2.每片必须大于100KB using System; using System.Collections.Generic; using System.Compo ...

  3. 30分钟玩转Net MVC 基于WebUploader的大文件分片上传、断网续传、秒传（文末附带demo下载）

    现在的项目开发基本上都用到了上传文件功能,或图片,或文档,或视频.我们常用的常规上传已经能够满足当前要求了, 然而有时会出现如下问题: 文件过大(比如1G以上),超出服务端的请求大小限制: 请求时间过 ...

  4. php实现大文件上传分片上传断点续传

    前段时间做视频上传业务,通过网页上传视频到服务器. 视频大小 小则几十M,大则 1G+,以一般的HTTP请求发送数据的方式的话,会遇到的问题:1,文件过大,超出服务端的请求大小限制:2,请求时间过长, ...

  5. PHP大文件分片上传

    前段时间做视频上传业务,通过网页上传视频到服务器. 视频大小 小则几十M,大则 1G+,以一般的HTTP请求发送数据的方式的话,会遇到的问题:1,文件过大,超出服务端的请求大小限制:2,请求时间过长, ...

  6. plupload 大文件分片上传与PHP分片合并探索

    最近老大分给我了做一个电影cms系统,其中涉及到一个功能,使用七牛云的文件上传功能.七牛javascript skd,使用起来很方便,屏蔽了许多的技术细节.如果只满足与调用sdk,那么可能工作中也就没 ...

  7. js+php大文件分片上传

    1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出.还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工.挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通 ...

  8. shutil模块和几种文件上传Demo

    一.shutil模块 1.介绍 shutil模块是对os中文件操作的补充.--移动 复制 打包 压缩 解压 2.基本使用 1. shutil.copyfileobj(文件1, 文件2, 长度) 将文件 ...

  9. 前端利用webuploader实现超大文件分片上传、断点续传

    本人在2010年时使用swfupload为核心进行文件的批量上传的解决方案.见文章:WEB版一次选择多个文件进行批量上传(swfupload)的解决方案. 本人在2013年时使用plupload为核心 ...

随机推荐

  1. 脚本_查看当前系统每个IP的连接数

    #!bin/bash#作者:liusingbon#功能:查看当前系统每个IP的连接数netstat -n | awk '/^tcp/ {print $5}'| awk -F: '{print $1}' ...

  2. python 反射、动态导入

    1. 反射 hasattr(obj,'name')            # 判断对象中是否含有字符串形式的方法名或属性名,返回True.False getattr(obj,'name',None)  ...

  3. tar命令--数据归档（一）

    虽然zip命令能够很好的将数据压缩和归档到单个文件,蛋挞不是linux 和unix的标准归档工具. ta命令最开始是用来将文件写到磁盘设备上的归档.然而他也能把输出写道文件里. 你会发现这个可选参数是 ...

  4. 【Linux】CentOS6上redis安装

    1.官网下载安装包 https://redis.io 2.解压 tar -zxvf xxxx.tar.gz 3.编译安装 进入解压后的目录后 make 出现以下内容表示make成功 Hint: It' ...

  5. HTML5测试（二）

    HTML5测试(四) 1.input 元素中,下列哪个类型属性定义了输入电话号码的控件? A.mob B.tel C.mobile D.telephone 答案:B 具有 type 属性的 input ...

  6. 实战build-react（二）-------引入Ant Design（增加）

    https://blog.csdn.net/zhan_lijian/article/details/85271906(copy) 1.肯定参考facebook关于react官网咯 快速搭建 creat ...

  7. npm 安装与卸载模块

    1. 只卸载模块 由于之前安装过,在 package.json 中的记录仍然存在 npm uninstall lodash 2. --save 参数使用 卸载模块的同时删除在 package.json ...

  8. 3D Computer Grapihcs Using OpenGL - 13 优化矩阵

    上节说过矩阵是可以结合的,而且相乘是按照和应用顺序相反的顺序进行的.我们之前初始化translationMatrix和rotationMatrix的时候,第一个参数都是使用的一个初始矩阵 glm::m ...

  9. C++二维数组（指针）做参数

    一.问题描述 使用C++编程过程中经常需要使用到二维数组,然而初级程序员在使用过程中经常会出错使程序崩溃.下面就二维指针的定义,初始化,以及二维指针做参数给出简单介绍. 1.二维数组的定义与初始化 在 ...

  10. Java数据结构之二叉树的基本介绍与递归遍历

    二叉树的基本概念: 正如我们所了解的,树是有很多中形态,但是我们规定,形如每个节点最多只能有两个子节点的一种形如称为二叉树.我们将二叉树中该节点的两个子节点分别称作为:左孩子节点和右孩子节点.该节点称 ...