实现TCP断点上传,后台C#服务实现接收

终端实现大文件上传一直都是比较难的技术,其中涉及到后端与前端的交互,稳定性和流量大小,而且实现原理每个人都有自己的想法,后端主流用的比较多的是Http来实现,因为大多实现过断点下载。但稳定性不能保证,一旦断开,无法续传。所以得采用另一种流行的做法,TCP上传大文件。

网上查找了一些资料,大多数是断点下载,然后就是单独的C#端的上传接收,或是HTTP的,或是只有android端的,由于任务紧所以之前找的首选方案当然是Http先来实现文件上传,终端采用Post方法,将文件直接传至后端,后端通过File来获得。

android端:

RequestParams params = new RequestParams();
File file = getTempFile();//获得本地文件
try {
params.put("file", file);
} catch (FileNotFoundException e1) {
e1.printStackTrace();
}
AsyncHttpUtil.post(URL + "/UpLoad", params, new JsonHttpResponseHandler() {
……

后端:

var file = Request.Files["file"];
file.SaveAs(upFileName);

还有其它更好的处理方法,也可以传流进来,不通过file文件格式。 在网络好的情况下没什么问题,但网络差点后来经常上传一半掉线或多个客户端上传出现连不上的情况,对于大文件极不稳定,所以赶紧研发TCP协议文件断点上传。

也有网友实现了Http断点上传,既然大文件不行,那就将文件分割成小文件来上传,纯NET的主要方法:

上传:

 bool result = true;
long cruuent = 0; FileStream fStream = new FileStream(fileName, FileMode.Open, FileAccess.Read);
BinaryReader bReader = new BinaryReader(fStream); //模拟断点上传,第一次只上传 100 个字节
long length = 100; fileName = fileName.Substring(fileName.LastIndexOf('\\') + 1); #region 开始上传文件
try
{ byte[] data;
#region 分割文件上传
for (; cruuent <= length; cruuent = cruuent + byteCount)
{
if (cruuent + byteCount > length)
{
data = new byte[Convert.ToInt64((length - cruuent))];
bReader.Read(data, 0, Convert.ToInt32((length - cruuent)));
}
else
{
data = new byte[byteCount];
bReader.Read(data, 0, byteCount);
}
try
{
Hashtable parms = new Hashtable();
parms.Add("fileName", fileName);
parms.Add("npos", cruuent.ToString()); byte[] byRemoteInfo = PostData(serverPath + "UpLoadServer.aspx", data, parms); }
catch (Exception ex)
{
msg = ex.ToString();
result = false;
break;
}
#endregion
}
}
catch (Exception ex)
{
msg = ex.ToString();
result = false;
}
finally
{
bReader.Close();
fStream.Close(); } GC.Collect();

先将文件分割成小流,npos为断点的位置,即已经上传了的大小,然后循环上传所有包。

后台接收:

 /// <summary>
/// 保存文件(从URL参数中获取文件名、当前指针,将文件流保存到当前指针后)
/// 如果是第一次上传,则当前指针为0,代码执行与续传一样,只不过指针没有偏移
/// </summary>
public void SaveUpLoadFile()
{ string fileName = Request.Params["fileName"];
long npos = Convert.ToInt64(Request.Params["npos"]); int upLoadLength = Convert.ToInt32(Request.InputStream.Length); string path = Server.MapPath("/UpLoadServer");
fileName = path + "//UpLoad//" + fileName; FileStream fStream = new FileStream(fileName, FileMode.OpenOrCreate, FileAccess.ReadWrite);
//偏移指针
fStream.Seek(npos, SeekOrigin.Begin); //从客户端的请求中获取文件流
BinaryReader bReader = new BinaryReader(Request.InputStream);
try
{
byte[] data = new byte[upLoadLength];
bReader.Read(data, 0, upLoadLength);
fStream.Write(data, 0, upLoadLength);
}
catch
{
//TODO 添加异常处理
}
finally
{
//释放流
fStream.Close();
bReader.Close();
}
}

重点在 fStream.Seek(npos, SeekOrigin.Begin); 从断点位置接收保存。

有兴趣的可以自己实现。

现在主要讲讲客户端TCP上传,后台TCP接收,主要思路为:android端读取本地文件将文件名,文件大小上传至服务器(文件名必须是全局唯一),服务器将根据文件名查询是否上传过,若是上传过,将已传文件的大小即断点位置传给终端,终端接收后先保存断点位置,然后从断点位置读取文件断续上传,直到全部完成。若没上传过则服务器创建缓存文件接收。

看看代码Android:

String head = "Length=" + uploadFile.length() + ";filename=" + filename

 Socket socket = new Socket("192.168.0.123", 7080);
OutputStream outStream = socket.getOutputStream();
outStream.write(head.getBytes());//发送 PushbackInputStream inStream = new PushbackInputStream(socket.getInputStream());
String response = StreamTool.readLine(inStream);//读取
String[] items = response.split(";"); final String position = items[0].substring(items[0].indexOf("=") + 1);//断点位置
final String serviceurl = items[1].substring(items[1].indexOf("=") + 1);//保存到服务器路径 RandomAccessFile fileOutStream = new RandomAccessFile(uploadFile, "r");
fileOutStream.seek(Integer.valueOf(position));//从断点位置开始读取文件
byte[] buffer = new byte[1024];
int len = -1;
int length = Integer.valueOf(position);//已经上传的大小,用于本地显示
while ( (len = fileOutStream.read(buffer)) != -1) {
outStream.write(buffer, 0, len);
length += len;
Message msg = new Message();
msg.getData().putInt("size", length);
// 更新上传的进度 handler.sendMessage(msg); }
if (length == uploadFile.length()) {
//如果相等,则说明上传成功
}
fileOutStream.close(); outStream.close(); inStream.close(); socket.close(); 

后端处理:

 private static TcpListener listener;//服务器监听
IPAddress ipHost = IPAddress.Any;
listener = new TcpListener(ipHost, 7080);
listener.Start();//开启监听 Socket remoteSocketClient = listener.AcceptSocket();
device = new Device(remoteSocketClient);
//开启一个线程去处理
threaddev = new Thread(new ThreadStart(device.Scan));
device.curentThread = threaddev;
threaddev.IsBackground = true;
threaddev.Start();
Scan处理方法:
 string[] items = strGetContent.Split(';');
string filelength = items[0].Substring(items[0].IndexOf("=") + 1);
string filename = items[1].Substring(items[1].IndexOf("=") + 1);
//文件保存完整路径
filePath = Path.Combine(directoryPath, filename);
//断点位置
long position = 0;
if (File.Exists(filePath))
{
using (FileStream reader = new FileStream(filePath, FileMode.Open, FileAccess.Read, FileShare.None))
{
position = reader.Length;
}
}
//返回消息
response = "position=" + position + ";serviceurl=" + dirPath + "/" + filename) ; //服务器收到客户端的请求信息后,给客户端返回响应信息:;position=0
//serviceurl 服务生保存的文件位置 /PlayFiles/video/2016/07/04/1141142221.mp4
bufferSend = Encoding.UTF8.GetBytes(response);
remoteSocketClient.Send(bufferSend);

然后处理续传内容:

 //获得文件内容
byte[] buffer = new byte[BufferSize];
int received = 0;
long receive, length = long.Parse(filelength);
FileInfo file = new FileInfo(filePath);
using (FileStream writer = file.Open(file.Exists ? FileMode.Append : FileMode.CreateNew, FileAccess.Write, FileShare.None))
{
receive = writer.Length;
while (receive < length)
{
if ((received = remoteSocketClient.Receive(buffer)) == 0)
{
Program.MessageAdd(" IP【" + remoteSocketClient.RemoteEndPoint.ToString() + "】接收暂停!");
break;
}
writer.Write(buffer, 0, received);
writer.Flush();
receive += (long)received;
} } if (receive == length)
{
Program.MessageAdd(" IP【" + remoteSocketClient.RemoteEndPoint.ToString() + "】接收" + filename + "完成!");
}

主要原理还是从断点位置上传和接收。

这里只是讲了最主要的代码功能,还有很多细节处理,比如终端要显示进度,所以还要保存进度,后端文件的保存会不会错位,还有多文件上传会不会乱,多客户端上传是创建新线程还是有线程池来处理等等 。

作者:欢醉 

实现TCP断点上传,后台C#服务实现接收的更多相关文章

  1. Android实现TCP断点上传,后台C#服务实现接收

    终端实现大文件上传一直都是比较难的技术,其中涉及到后端与前端的交互,稳定性和流量大小,而且实现原理每个人都有自己的想法,后端主流用的比较多的是Http来实现,因为大多实现过断点下载.但稳定性不能保证, ...

  2. WebUploader分片断点上传文件(二)

    写在前面: 这几天,有去研究一下WebUploader上传文件,前面的博客有记录下使用WebUploader简单上传文件的例子,今天就把分片断点上传的例子也记录下吧,在博客园中,也查看了一些资料,基本 ...

  3. java HTTP文件断点上传

    之前仿造uploadify写了一个HTML5版的文件上传插件,没看过的朋友可以点此先看一下~得到了不少朋友的好评,我自己也用在了项目中,不论是用户头像上传,还是各种媒体文件的上传,以及各种个性的业务需 ...

  4. asp.net 如何实现大文件断点上传功能?

    之前仿造uploadify写了一个HTML5版的文件上传插件,没看过的朋友可以点此先看一下~得到了不少朋友的好评,我自己也用在了项目中,不论是用户头像上传,还是各种媒体文件的上传,以及各种个性的业务需 ...

  5. jsp文件断点上传

    之前仿造uploadify写了一个HTML5版的文件上传插件,没看过的朋友可以点此先看一下~得到了不少朋友的好评,我自己也用在了项目中,不论是用户头像上传,还是各种媒体文件的上传,以及各种个性的业务需 ...

  6. Java基础知识强化之网络编程笔记11:TCP之TCP协议上传文本文件

    1. TCP协议上传文本文件(客户端上传数据到服务器端) (1)客户端(上传数据到服务端) package cn.itcast_11; import java.io.BufferedReader; i ...

  7. 使用HTML5 FormData对象实现大文件分块上传(断点上传)功能

    FormData是HTML5新增的一个对象,通过FormData对象可以组装一组用 XMLHttpRequest发送请求的键/值对.它可以更灵活方便的发送表单数据,因为可以独立于表单使用.如果你把表单 ...

  8. 【WCF】利用WCF实现上传下载文件服务

    引言     前段时间,用WCF做了一个小项目,其中涉及到文件的上传下载.出于复习巩固的目的,今天简单梳理了一下,整理出来,下面展示如何一步步实现一个上传下载的WCF服务. 服务端 1.首先新建一个名 ...

  9. Android应用开发之使用Socket进行大文件断点上传续传

    http://www.linuxidc.com/Linux/2012-03/55567.htm http://blog.csdn.net/shimiso/article/details/8529633 ...

随机推荐

  1. python 加密模块安装

    我们使用Python做加密算法如AES.MD5.SHA等时,需要用到PyCrypto模块 PyCrypto模块的安装方法 1.一般在官方网站下载: https://www.dlitz.net/soft ...

  2. Escape character is '^]'. Connection closed by foreign host.

    今天在用易汇金的接口回调时候,老是回调不到我的机器上面.我的ip通过公网映射,按说是可以访问到我的ip,思考是什么问题. 1.防火墙关闭,不行 2.防火墙开启,但是把自己的端口号改为可以访问(参考:h ...

  3. Unity3D TouchScript 插件教程一

    只是个人学习小记,谈不上教程,但是为了命中搜索引擎关键词,只好装逼了:),可能对于大家来说太简单了吧,网上中文教程没搜到 ,只好自己摸索了. 插件资源下载地址:https://www.assetsto ...

  4. mutate 转换

    zjtest7-frontend:/usr/local/logstash-2.3.4/config# cat geoip.conf input {stdin {} } filter { geoip { ...

  5. ASP.NET MVC URL重写与优化(进阶篇)-继承RouteBase

    原文地址:http://www.51csharp.com/MVC/882.html   ASP.NET MVC URL重写与优化(进阶篇)-继承RouteBase玩转URL 引言-- 在初级篇中,我们 ...

  6. 图论专题训练1-D(K步最短路,矩阵连乘)

    题目链接 /* *题目大意: *求出从i到j,刚好经过k条边的最短路; * *矩阵乘法的应用之一(国家队论文): *矩阵乘法不满足交换律,矩阵乘法满足结合律; *给定一个有向图,问从A点恰好走k步(允 ...

  7. qt画刷和画笔

    # -*- coding: utf-8 -*- # python:2.x __author__ = 'Administrator' #画刷和画笔:QBrush 定义了 QPainter 的填充模式,具 ...

  8. 解决getJdbcTemplate往oracle数据库中插入数据返回主键出错问题

    我们使用Spring中的JdbcDaoSupport往Mysql中插入数据并返回主键代码,我们使用的mysql数据库,主键在数据库中设置为自增长:该类继承自JdbcDaoSupport,所以能直接使用 ...

  9. Eclipse上改动Jython代码的Comment颜色

    1.问题起因 依据上一篇文章<MonkeyRunner在Windows下的Eclipse开发环境搭建步骤(兼解决网上Jython配置出错的问题)>搭配好Eclipse上面的MonkeyRu ...

  10. 【SQL学习笔记】排名开窗函数,聚合开窗函数(Over by)

    处理一些分组后,该组按照某列排序后 ,取其中某条完整数据的问题. 或 按照其中不同列分组后的聚合 比如 sum,avg之类. MSDN上语法: Ranking Window Functions < ...