java+大文件分段上传

一、 功能性需求与非功能性需求

要求操作便利，一次选择多个文件和文件夹进行上传；
支持PC端全平台操作系统，Windows,Linux,Mac

支持文件和文件夹的批量下载，断点续传。刷新页面后继续传输。关闭浏览器后保留进度信息。

支持文件夹批量上传下载，服务器端保留文件夹层级结构，服务器端文件夹层级结构与本地相同。

支持大文件批量上传（20G）和下载，同时需要保证上传期间用户电脑不出现卡死等体验；

支持断点续传，关闭浏览器或刷新浏览器后仍然能够保留进度。

支持文件夹结构管理，支持新建文件夹，支持文件夹目录导航

交互友好，能够及时反馈上传的进度；

服务端的安全性，不因上传文件功能导致JVM内存溢出影响其他功能使用；

最大限度利用网络上行带宽，提高上传速度；

二、 设计分析

对于大文件的处理，无论是用户端还是服务端，如果一次性进行读取发送、接收都是不可取，很容易导致内存问题。所以对于大文件上传，采用切块分段上传

从上传的效率来看，利用多线程并发上传能够达到最大效率。

三、解决方案：

文件上传页面的前端可以选择使用一些比较好用的上传组件，例如百度的开源组件WebUploader，泽优软件的up6，这些组件基本能满足文件上传的一些日常所需功能，如异步上传文件，文件夹，拖拽式上传，黏贴上传，上传进度监控，文件缩略图，甚至是大文件断点续传，大文件秒传。

1.1 在页面导入所需css，js

<link rel="stylesheet" type="text/css"

href="${pageContext.request.contextPath}/css/webuploader.css">

<script type="text/javascript"

src="${pageContext.request.contextPath }/js/jquery-1.10.2.min.js"></script>

<script type="text/javascript"

src="${pageContext.request.contextPath }/js/webuploader.js"></script>

1.2 编写上传页面标签

<div id="uploader">

<!-- 显示文件列表信息 -->

<ul id="fileList"></ul>

<!-- 选择文件区域 -->

<div id="filePicker">点击选择文件</div>

</div>

webupload代码

<script type="text/javascript">

//1.初始化WebUpload，以及配置全局的参数

var uploader = WebUploader.create(

{

//flashk控件的地址

swf: "${pageContext.request.contextPath}/js/Uploader.swf",

//后台提交地址

server:"${pageContext.request.contextPath}/UploadServlet",

//选择文件控件的标签

pick:"#filePicker",

//自动上传文件

auto:true,

}

);

//2.选择文件后，文件信息队列展示

// 注册fileQueued事件：当文件加入队列后触发

// file: 代表当前选择的文件

uploader.on("fileQueued",function(file){

//追加文件信息div

$("#fileList").append("<div id='"+file.id+"' class='fileInfo'><span>"+file.name+"</span><div class='state'>等待上传...</div><span class='text'></span></div>");

});

//3.注册上传进度监听

//file: 正在上传的文件

//percentage: 当前进度的比例。最大为1.例如:0.2

uploader.on("uploadProgress",function(file,percentage){

var id = $("#"+file.id);

//更新状态信息

id.find("div.state").text("上传中...");

//更新上传百分比

id.find("span.text").text(Math.round(percentage*100)+"%");

});

//4.注册上传完毕监听

//file:上传完毕的文件

//response:后台回送的数据，以json格式返回

uploader.on("uploadSuccess",function(file,response){

//更新状态信息

$("#"+file.id).find("div.state").text("上传完毕");

});

后端接收上传数据采用FileUpload 是 Apache commons下面的一个子项目，用来实现Java环境下的文件上传功能。

DiskFileItemFactory factory = new DiskFileItemFactory();

ServletFileUpload sfu = new ServletFileUpload(factory);

sfu.setHeaderEncoding("utf-8");

try {

List<FileItem> items = sfu.parseRequest(request);

for(FileItem item:items){

if(item.isFormField()){

//普通信息

}else{

//文件信息

//判断只有文件才需要进行保存处理

System.out.println("接收的文件名称:"+item.getName());

//拷贝文件到后台的硬盘

FileUtils.copyInputStreamToFile(item.getInputStream(), new File(serverPath+"/"+item.getName()));

System.out.println("文件保存成功");

}

}

} catch (FileUploadException e) {

e.printStackTrace();

}

效果：

文件和文件夹批量上传

demo下载地址：jsp-Eclipse,jsp-MyEclipse,PHP,ASP.NET

教程：ASP.NET,JSP,PHP
详细配置信息可以参考我写的这篇文章：http://blog.ncmem.com/wordpress/2019/08/09/java%E5%A4%A7%E6%96%87%E4%BB%B6%E5%88%86%E6%AE%B5%E4%B8%8A%E4%BC%A0/