asp.net core流式上传大文件

首先需要明确一点就是使用流式上传和使用IFormFile在效率上没有太大的差异，IFormFile的缺点主要是客户端上传过来的文件首先会缓存在服务器内存中，任何超过 64KB 的单个缓冲文件会从 RAM 移动到服务器磁盘上的临时文件中。 文件上传所用的资源（磁盘、RAM）取决于并发文件上传的数量和大小。 流式处理与性能没有太大的关系，而是与规模有关。 如果尝试缓冲过多上传，站点就会在内存或磁盘空间不足时崩溃（以上解释来自官网https://docs.microsoft.com/zh-cn/aspnet/core/mvc/models/file-uploads?view=aspnetcore-2.2）。也就是说如果同时有很多客户端上传文件时，如果采用IFormFile的方式来上传的话，上传的文件首先会在你的服务器内存中进行缓存，还有可能从内存中导入到你的磁盘临时文件中，那么必然会有两个问题，一个是内存占用过高，另一个问题就是磁盘空间不足，所以，采用流式上传的原因就在于解决这两个问题。但是流式上传需要比IFormFile复杂的多的配置，IFormFile上传是在服务器进行模型绑定的操作，而流式上传是要读取Request的流并对boundary的内容进行判断来获取文件流的方式来处理的。

下面来从客户端和服务端两个方面来解释asp.net core中的文件上传功能

客户端配置

文件是从客户端上传的到服务器的，所以在客户端需要一些配置。我的客户端是HTML，使用form表单的方式来对文件进行上传，所以这里只介绍这种客户端方式。首先上传文件的话form的enctype属性必须为multipart/form-data的格式：

 <form  enctype="multipart/form-data">

....

</form>

注：关于multipart/form-data这部分内容可以参考https://www.jianshu.com/p/29e38bcc8a1d。

enctype有三种可选类型：

application/x-www-urlencoded 默认情况下是 application/x-www-urlencoded，当表单使用 POST 请求时，数据会被以 x-www-urlencoded 方式编码到 Body 中来传送，而如果 GET 请求，则是附在 url 链接后面来发送。

GET 请求只支持 ASCII 字符集，因此，如果我们要发送更大字符集的内容，我们应使用 POST 请求。

如果要发送大量的二进制数据（non-ASCII），"application/x-www-form-urlencoded" 显然是低效的，因为它需要用 3 个字符来表示一个 non-ASCII 的字符。因此，这种情况下，应该使用 "multipart/form-data" 格式。

如果采用这种格式来对表单的内容进行请求，那么Content-Type就是application/x-www-form-urlencoded。

multipart/form-data 采用这种方式提交的表单其content-type的格式就是multipart/form-data了。例如：发送一个这样的表单：

<FORM method="POST" action="http://w.sohu.com/t2/upload.do" enctype="multipart/form-data">

    <INPUT type="text" name="city" value="Santa colo">

    <INPUT type="text" name="desc">

    <INPUT type="file" name="pic">

 </FORM>

浏览器会以下方式来发送请求：

POST /t2/upload.do HTTP/1.1

User-Agent: SOHUWapRebot

Accept-Language: zh-cn,zh;q=0.5

Accept-Charset: GBK,utf-;q=0.7,*;q=0.7

Connection: keep-alive

Content-Length:

Content-Type:multipart/form-data; boundary=ZnGpDtePMx0KrHh_G0X99Yef9r8JZsRJSXC

Host: w.sohu.com

--ZnGpDtePMx0KrHh_G0X99Yef9r8JZsRJSXC

Content-Disposition: form-data; name="city"

Santa colo

--ZnGpDtePMx0KrHh_G0X99Yef9r8JZsRJSXC

Content-Disposition: form-data;name="desc"

Content-Type: text/plain; charset=UTF-

Content-Transfer-Encoding: 8bit

...

--ZnGpDtePMx0KrHh_G0X99Yef9r8JZsRJSXC

Content-Disposition: form-data;name="pic"; filename="photo.jpg"

Content-Type: application/octet-stream

Content-Transfer-Encoding: binary

... binary data of the jpg ...

--ZnGpDtePMx0KrHh_G0X99Yef9r8JZsRJSXC--

从上面的 multipart/form-data 格式发送的请求的样式来看，它包含了多个 Parts，每个 Part 都包含头信息部分，
Part 头信息中必须包含一个 Content-Disposition 头，其他的头信息则为可选项，比如 Content-Type 等。

Content-Disposition 包含了 type 和一个名字为 name 的 parameter，type 是 form-data，name 参数的值则为表单控件（也即 field）的名字，如果是文件，那么还有一个 filename 参数，或者fileNameStar参数，值就是文件名。

比如：

Content-Disposition: form-data; name="user"; filename="hello.txt"

上面的 "user" 就是表单中的控件的名字，后面的参数 filename 则是点选的文件名。
对于可选的 Content-Type（如果没有的话），默认就是 text/plain。

注意：

如果文件内容是通过填充表单来获得，那么上传的时候，Content-Type 会被自动设置（识别）成相应的格式，如果没法识别，那么就会被设置成 "application/octet-stream"
如果多个文件被填充成单个表单项，那么它们的请求格式则会是 multipart/mixed。

如果 Part 的内容跟默认的 encoding 方式不同，那么会有一个 "content-transfer-encoding" 头信息来指定。

下面，我们填充两个文件到一个表单项中，行程的请求信息如下：

Content-Type: multipart/form-data; boundary=AaB03x

--AaB03x

Content-Disposition: form-data; name="submit-name"

Larry

--AaB03x

Content-Disposition: form-data; name="files"

Content-Type: multipart/mixed; boundary=BbC04y

--BbC04y

Content-Disposition: file; filename="file1.txt"

Content-Type: text/plain

... contents of file1.txt ...

--BbC04y

Content-Disposition: file; filename="file2.gif"

Content-Type: image/gif

Content-Transfer-Encoding: binary

...contents of file2.gif...

--BbC04y--

--AaB03x--

可以看到一个input type="file"同时上传两个文件时会有一个子boundary产生。

text-plain 这个不做解释了。

服务器配置

服务器采用asp.net core。

参考https://www.cnblogs.com/liuxiaoji/p/10266609.html

参考的这篇文章中已经比较旧了，在asp.net core2.2中，已经有了一些便捷的扩展方法方法来更清晰的表示这些逻辑，但是遗憾的是asp.net core的官方文档还没有更新这些。

此外，有关与文件断点续传/上传的一个协议/规范，在这里：https://www.cnblogs.com/850391642c/p/tus-Protocol.html；我也在考虑后续要不要使用这个协议和实现来应用到我的项目中。

下面进入正题：

使用流式上传的方式的缺点就是配置比较复杂，你无法使用IFormFile那种能够采用模型绑定的方式来将上传的文件反序列化成对象，需要我们进行配置，配置的步骤为：

①首先要判断content-type是否是multipart

②从HttpRequest中拿到boundary

③将拿到的boundary和HttpRequest的body组合成一个MultipartReader对象

④从组合成的MultipartReader对象中读取有boundary分隔的每个section，这个section有可能是一个form表单的键值对，也有可能是一个文件。

⑤逐项取出每一个section，然后对每个section进行判断是form表单键值对还是一个文件，并进行相应的处理。其中，如果是表单项的键值对，那么将这个键值对存入一个对象中，如果是文件，则建立一个文件流并将文件写入磁盘。

代码基于asp.net core 2.2，代码如下：

public static class FileStreamingHelper

    {

        /// <summary>

        /// 如果文件上传成功，那么message会返回一个上传文件的路径，如果失败，message代表失败的消息

        /// </summary>

        /// <param name="request"></param>

        /// <param name="targetDirectory"></param>

        /// <param name="cancellationToken"></param>

        /// <returns></returns>

        public static async Task<(bool success, string filePath, FormValueProvider valueProvider)> StreamFile(this HttpRequest request, string targetDirectory, CancellationToken cancellationToken)

        {

            //读取boundary

            var boundary = request.GetMultipartBoundary();

            if (string.IsNullOrEmpty(boundary))

            {

                return (false, "解析失败", null);

            }

            //检查相应目录

            if (!Directory.Exists(targetDirectory))

            {

                Directory.CreateDirectory(targetDirectory);

            }

            //准备文件保存路径

            var filePath = string.Empty;

            //准备viewmodel缓冲

            var accumulator = new KeyValueAccumulator();

            //创建section reader

            var reader = new MultipartReader(boundary, request.Body);

            try

            {

                var section = await reader.ReadNextSectionAsync(cancellationToken);

                while (section != null)

                {

                    ContentDispositionHeaderValue header = section.GetContentDispositionHeader();

                    if (header.FileName.HasValue || header.FileNameStar.HasValue)

                    {

                        var fileSection = section.AsFileSection();

                        var fileName = fileSection.FileName;

                        filePath = Path.Combine(targetDirectory, fileName);

                        if (File.Exists(filePath))

                        {

                            return (false, "你以上传过同名文件", null);

                        }

                        accumulator.Append("mimeType", fileSection.Section.ContentType);

                        accumulator.Append("fileName", fileName);

                        accumulator.Append("filePath", filePath);

                        using (var writeStream = File.Create(filePath))

                        {

                            const int bufferSize = ;

                            await fileSection.FileStream.CopyToAsync(writeStream, bufferSize, cancellationToken);

                        }

                    }

                    else

                    {

                        var formDataSection = section.AsFormDataSection();

                        var name = formDataSection.Name;

                        var value = await formDataSection.GetValueAsync();

                        accumulator.Append(name, value);

                    }

                    section = await reader.ReadNextSectionAsync(cancellationToken);

                }

            }

            catch (OperationCanceledException)

            {

                if (File.Exists(filePath))

                {

                    File.Delete(filePath);

                }

                return (false, "用户取消操作", null);

            }

            // Bind form data to a model

            var formValueProvider = new FormValueProvider(

                BindingSource.Form,

                new FormCollection(accumulator.GetResults()),

                CultureInfo.CurrentCulture);

            return (true, filePath, formValueProvider);

        }

    }

这个方法会返回一个元组，来表示一些状态和结果，首先，方法中检查boundary是否为空，为空则直接返回错误码；然后，根据boundary来创建一个关键的MultipartReader来读取request.body中的每个section；然后，根据section的类型来决定将这个section当作一个filesection还是一个formdatasection来处理。这个方法顺便将CancellationToken传入，当客户端中断连接或其他原因造成中断，引发OperationCanceledException时，方法会将已接受的字节组成的文件（无用的文件）删除。最终，方法返回一个元组，里面有代表是否成功的布尔值，由代表消息的字符串，还有一个FormValueProvider，这个对象用于解析成最终的ViewModel。当布尔值为true时，代表消息的字符串是一个文件路径。用于解析ViewModel后续步骤的处理，这是因为我需要将ViewModel转化成一条文件上传记录存入数据库。

然后还需要定义一个拦截器，用于告诉mvc不要进行模型绑定，这个拦截器实现了IResourceFilter接口：

using Microsoft.AspNetCore.Mvc.Filters;

using Microsoft.AspNetCore.Mvc.ModelBinding;

using System;

using System.Linq;

namespace MyFtp.Api.Extensions

{

    [AttributeUsage(AttributeTargets.Class | AttributeTargets.Method)]

    public class DisableFormValueModelBindingAttribute : Attribute, IResourceFilter

    {

        public void OnResourceExecuting(ResourceExecutingContext context)

        {

            var formValueProviderFactory = context.ValueProviderFactories

                .OfType<FormValueProviderFactory>()

                .FirstOrDefault();

            if (formValueProviderFactory != null)

            {

                context.ValueProviderFactories.Remove(formValueProviderFactory);

            }

            var jqueryFormValueProviderFactory = context.ValueProviderFactories

                .OfType<JQueryFormValueProviderFactory>()

                .FirstOrDefault();

            if (jqueryFormValueProviderFactory != null)

            {

                context.ValueProviderFactories.Remove(jqueryFormValueProviderFactory);

            }

        }

        public void OnResourceExecuted(ResourceExecutedContext context)

        {

        }

    }

}

一些服务器上面的限制和解决办法

asp.net core对请求body的大小以及上传的文件的大小都有一些限制，为了免除这些限制，我们需要进行一些配置，如果你要是用IIS进行部署你的应用，则应该建立一个web.config文件进行相应的配置，这方面的内容在https://docs.microsoft.com/zh-cn/aspnet/core/mvc/models/file-uploads?view=aspnetcore-2.2，我使用的是kestrel，对kestrel进行配置也非常简单，就是配置一个FormOption，在startup类中写入：

//设置接收文件长度的最大值。

            services.Configure<FormOptions>(x =>

            {

                x.ValueLengthLimit = int.MaxValue;

                x.MultipartBodyLengthLimit = int.MaxValue;

                x.MultipartHeadersLengthLimit = int.MaxValue;

            });

上面的这个配置的单位是字节，配置了三个，这三个都是与表单相关的：一个是表单的键值对中的值的长度限制，一个是当表单enctype为multipart/form-data时文件的长度限制，还有一个是multipart头长度的限制，也就是boundary=-------------------------------Gefsgeq!34这种玩意儿的限制。

上面的配置完成后还不行，因为asp.net core还对HttpRequest的长度也做了限制，还需要对HttpRequest请求体的长度进行配置，这个配置可以在action上面完成，有两个attribute：

        //[RequestSizeLimit()]

        [DisableRequestSizeLimit]

        public async Task<IActionResult> Post()

        {
.......
}

RequestSizeLimit是传入一个表示字节的数字来对请求的大小进行限制，另一个DisableRequestSizeLimit的意思就是不限制了。