本文为 Dennis Gao 原创技术文章,发表于博客园博客,未经作者本人允许禁止任何形式的转载。

许久以前写了篇文章《基于.NET打造IP智能网络视频监控系统》,记录和介绍了自己几年来积累和演练的一个系统。发现几个月过去了,没有任何进展。

目前已经实现了 UDP+RTP 方式在不同物理机之间的媒体流传输。当然,由于没有基于 .NET 的媒体流压缩实现,所以直接传输的裸图 Bitmap。不过要求不高,帧率低一些,机器性能强一些,看着也很流畅。

能在桌面客户端上看到视频图像的功能已经完成了。下面需要考虑,如何通过浏览器来查看视频。

在不考虑使用 Flash、ActiveX 的条件下,貌似只能选择 MJPEG 方式。目前还没有研究在 HTML5 下视频是如何处理的,以后有时间可以探索。

目录

什么是 MJPEG?

看这里:

当然,我主要关注 MJPEG over HTTP 这段。

M-JPEG over HTTP
HTTP streaming separates each image into individual HTTP replies on a specified marker. RTP streaming creates packets of a sequence of JPEG images that can be received by clients such as QuickTime or VLC.
In response to a GET request for a MJPEG file or stream, the server streams the sequence of JPEG frames over HTTP. A special mime-type content type multipart/x-mixed-replace;boundary=<boundary-name> informs the client to expect several parts (frames) as an answer delimited by <boundary-name>. This boundary name is expressly disclosed within the MIME-type declaration itself. The TCP connection is not closed as long as the client wants to receive new frames and the server wants to provide new frames. Two basic implementations of a M-JPEG streaming server are cambozola and MJPG-Streamer. The more robust ffmpeg-server also provides M-JPEG streaming support.

也就是说,建立 HTTP 连接后,服务端在 Response 消息中先发一个数据头 Header 告诉客户端,我后面的都是 JPEG 图片。图片之间使用 boundary-name 来区分,每个图片前都有自己的数据头来描述图片数据长度。

MJPEG数据头定义

     /// <summary>
/// 流头部
/// </summary>
public string StreamHeader
{
get
{
return "HTTP/1.1 200 OK" +
"\r\n" +
"Content-Type: multipart/x-mixed-replace; boundary=" + this.Boundary +
"\r\n";
}
}
     /// <summary>
/// 图片头部
/// </summary>
public string PayloadHeader
{
get
{
return "\r\n" +
this.Boundary +
"\r\n" +
"Content-Type: image/jpeg" +
"\r\n" +
"Content-Length: " + _contentLengthString +
"\r\n\r\n";
}
}

这里的 Boundary 可以是任意字符串,只要你觉得唯一并能区分即可,比如我可以设置为“--dennisgao”。

服务器端实现

Http 服务器其实就是个支持 Tcp 连接的服务器。

 private AsyncTcpServer _server;

 _server = new AsyncTcpServer(Port);
_server.Encoding = Encoding.ASCII;
     public void Start()
{
_server.Start();
_server.ClientConnected += new EventHandler<TcpClientConnectedEventArgs>(OnClientConnected);
_server.ClientDisconnected += new EventHandler<TcpClientDisconnectedEventArgs>(OnClientDisconnected);
} public void Stop()
{
_server.Stop();
_server.ClientConnected -= new EventHandler<TcpClientConnectedEventArgs>(OnClientConnected);
_server.ClientDisconnected -= new EventHandler<TcpClientDisconnectedEventArgs>(OnClientDisconnected);
} private void OnClientConnected(object sender, TcpClientConnectedEventArgs e)
{
_clients.AddOrUpdate(e.TcpClient.Client.RemoteEndPoint.ToString(), e.TcpClient, (n, o) => { return e.TcpClient; });
} private void OnClientDisconnected(object sender, TcpClientDisconnectedEventArgs e)
{
TcpClient clientToBeThrowAway;
_clients.TryRemove(e.TcpClient.Client.RemoteEndPoint.ToString(), out clientToBeThrowAway);
}

这里可以参考两篇文章中的实现。

发送图片数据

首先要保证,对一个HTTP连接只能发一次流头,因为后面是接连不断的图片数据。当然,发点别的数据客户端也不会解码。

     private void WriteStreamHeader()
{
if (_clients.Count > )
{
foreach (var item in _clients)
{
Logger.Debug(string.Format(CultureInfo.InvariantCulture,
"Writing stream header, {0}, {1}{2}", item.Key, Environment.NewLine, StreamHeader)); _server.SyncSend(item.Value, StreamHeader); TcpClient clientToBeThrowAway;
_clients.TryRemove(item.Key, out clientToBeThrowAway);
}
}
}

发送图片数据时,要保证图片的前面是图片头和长度信息,数据尾部要有换行符。

     private void WritePayload(byte[] payload)
{
string payloadHeader = this.PayloadHeader.Replace(_contentLengthString, payload.Length.ToString());
string payloadTail = "\r\n"; Logger.Debug(string.Format(CultureInfo.InvariantCulture,
"Writing payload header, {0}{1}", Environment.NewLine, payloadHeader)); byte[] payloadHeaderBytes = _server.Encoding.GetBytes(payloadHeader);
byte[] payloadTailBytes = _server.Encoding.GetBytes(payloadTail);
byte[] packet = new byte[payloadHeaderBytes.Length + payload.Length + payloadTail.Length];
Buffer.BlockCopy(payloadHeaderBytes, , packet, , payloadHeaderBytes.Length);
Buffer.BlockCopy(payload, , packet, payloadHeaderBytes.Length, payload.Length);
Buffer.BlockCopy(payloadTailBytes, , packet, payloadHeaderBytes.Length + payload.Length, payloadTailBytes.Length); _server.SendToAll(packet);
}

结果演示

在可以成功发送流信息和图片信息后,就可以在浏览器上查看视频了。当然,我用的 Google Chrome 。IE10 好奇葩,它会把流当成文件不停的下载,搞不懂。

远程访问

局域网内的无线设备,只要浏览器支持 MJPEG ,均可以查看视频。我测试了 iPad 上的 Safari 是可以的,但 Chrome 却直接解析成乱码。

当然,如果在路由器上配置转发规则,就可以在外网访问了。

完整代码

   public class MJpegStreamingServer
{
private static string _contentLengthString = "__PayloadHeaderContentLength__";
private AsyncTcpServer _server;
private ConcurrentDictionary<string, TcpClient> _clients; public MJpegStreamingServer(int listenPort)
: this(listenPort, "--dennisgao")
{
} public MJpegStreamingServer(int listenPort, string boundary)
{
Port = listenPort;
Boundary = boundary; _server = new AsyncTcpServer(Port);
_server.Encoding = Encoding.ASCII;
_clients = new ConcurrentDictionary<string, TcpClient>();
} /// <summary>
/// 监听的端口
/// </summary>
public int Port { get; private set; } /// <summary>
/// 分隔符
/// </summary>
public string Boundary { get; private set; } /// <summary>
/// 流头部
/// </summary>
public string StreamHeader
{
get
{
return "HTTP/1.1 200 OK" +
"\r\n" +
"Content-Type: multipart/x-mixed-replace; boundary=" + this.Boundary +
"\r\n";
}
} /// <summary>
/// 图片头部
/// </summary>
public string PayloadHeader
{
get
{
return "\r\n" +
this.Boundary +
"\r\n" +
"Content-Type: image/jpeg" +
"\r\n" +
"Content-Length: " + _contentLengthString +
"\r\n\r\n";
}
} public void Start()
{
_server.Start();
_server.ClientConnected += new EventHandler<TcpClientConnectedEventArgs>(OnClientConnected);
_server.ClientDisconnected += new EventHandler<TcpClientDisconnectedEventArgs>(OnClientDisconnected);
} public void Stop()
{
_server.Stop();
_server.ClientConnected -= new EventHandler<TcpClientConnectedEventArgs>(OnClientConnected);
_server.ClientDisconnected -= new EventHandler<TcpClientDisconnectedEventArgs>(OnClientDisconnected);
} private void OnClientConnected(object sender, TcpClientConnectedEventArgs e)
{
_clients.AddOrUpdate(e.TcpClient.Client.RemoteEndPoint.ToString(), e.TcpClient, (n, o) => { return e.TcpClient; });
} private void OnClientDisconnected(object sender, TcpClientDisconnectedEventArgs e)
{
TcpClient clientToBeThrowAway;
_clients.TryRemove(e.TcpClient.Client.RemoteEndPoint.ToString(), out clientToBeThrowAway);
} public void Write(Image image)
{
if (_server.IsRunning)
{
byte[] payload = BytesOf(image); WriteStreamHeader();
WritePayload(payload);
}
} private void WriteStreamHeader()
{
if (_clients.Count > )
{
foreach (var item in _clients)
{
Logger.Debug(string.Format(CultureInfo.InvariantCulture,
"Writing stream header, {0}, {1}{2}", item.Key, Environment.NewLine, StreamHeader)); _server.SyncSend(item.Value, StreamHeader); TcpClient clientToBeThrowAway;
_clients.TryRemove(item.Key, out clientToBeThrowAway);
}
}
} private void WritePayload(byte[] payload)
{
string payloadHeader = this.PayloadHeader.Replace(_contentLengthString, payload.Length.ToString());
string payloadTail = "\r\n"; Logger.Debug(string.Format(CultureInfo.InvariantCulture,
"Writing payload header, {0}{1}", Environment.NewLine, payloadHeader)); byte[] payloadHeaderBytes = _server.Encoding.GetBytes(payloadHeader);
byte[] payloadTailBytes = _server.Encoding.GetBytes(payloadTail);
byte[] packet = new byte[payloadHeaderBytes.Length + payload.Length + payloadTail.Length];
Buffer.BlockCopy(payloadHeaderBytes, , packet, , payloadHeaderBytes.Length);
Buffer.BlockCopy(payload, , packet, payloadHeaderBytes.Length, payload.Length);
Buffer.BlockCopy(payloadTailBytes, , packet, payloadHeaderBytes.Length + payload.Length, payloadTailBytes.Length); _server.SendToAll(packet);
} private byte[] BytesOf(Image image)
{
MemoryStream ms = new MemoryStream();
image.Save(ms, System.Drawing.Imaging.ImageFormat.Jpeg); byte[] payload = ms.ToArray(); return payload;
}
}

本文为 Dennis Gao 原创技术文章,发表于博客园博客,未经作者本人允许禁止任何形式的转载。

C#开源实现MJPEG流传输的更多相关文章

  1. openwrt,mjpeg流,wifi摄像头与APP联动,拍照、录像

    最近公司好忙,自己主管的产品又忙着上线,好久都没更新博客了. 最近产品在做一款wifi摄像头,摄像头与手机同时连接在一个局域网内,即可实现摄像头图像在手机显示,并且拍照录像等功能 mjpeg是一张一张 ...

  2. RTSP RTSP(Real Time Streaming Protocol),RFC2326,实时流传输协议,是TCP/IP协议体系中的一个应用层协议

    RTSP 编辑 RTSP(Real Time Streaming Protocol),RFC2326,实时流传输协议,是TCP/IP协议体系中的一个应用层协议,由哥伦比亚大学.网景和RealNetwo ...

  3. Kafka 在行动:7步实现从RDBMS到Hadoop的实时流传输

    原文:https://coyee.com/article/11095-kafka-in-action-7-steps-to-real-time-streaming-from-rdbms-to-hado ...

  4. EzHttp 流传输调用代码示例

    EzHttp框架提供的内置接口,用于文件流等传输 流传输调用代码示例 内置接口: public interface IEzStreamHandler { Task<byte[]> GetD ...

  5. [转]开源实时视频码流分析软件:VideoEye

    原文太长了,就直接贴上链接,以便大家学习. 引文链接:开源实时视频码流分析软件:VideoEye

  6. .net WebApi 批量文件进行压缩zip以二进制流传输至前端(Vue)下载

    前言:最近接了个项目,需要进行将服务端生成的文件进行打包压缩供前端下载,百度查了下资料,决定采用SharpZipLib C#开园的压缩解压库进行服务器文件压缩,在实现过程,郁闷的是前端接收下载下来的压 ...

  7. 开源实时视频码流分析软件:VideoEye

    本文介绍一个自己做的码流分析软件:VideoEye.为什么要起这个名字呢?感觉这个软件的主要功能就是对"视频"进行"分析".而分析是要用眼睛来看的,因此取了&q ...

  8. 基于TCP协议的项目架构之Socket流传输的实现

    项目背景  某银行的影像平台由于使用时间长,服务器等配置原因,老影像系统满足不了现在日益增长的数据量的需求,所以急需要升级改造.传统的影像平台使用的是Oracle数据库和简单的架构来存储数据(视频.图 ...

  9. HttpUrlConnection流传输问题(正确传输包含中文的JSON字符串)

    目前在写一个功能,主要是使用 HttpURLConnection 发送http请求调用外部接口.本来一切正常的,可是在发送post请求上传数据给服务端时,服务端返回错误信息:获取的JSON请求是乱码的 ...

随机推荐

  1. 干货来袭-整套完整安全的API接口解决方案

    在各种手机APP泛滥的现在,背后都有同样泛滥的API接口在支撑,其中鱼龙混杂,直接裸奔的WEB API大量存在,安全性令人堪优 在以前WEB API概念没有很普及的时候,都采用自已定义的接口和结构,对 ...

  2. Intellij idea添加单元测试工具

    1.idea 版本是14.0.0 ,默认带有Junit,但是不能自动生成单元测试,需要下载JunitGererator2.0插件 2.Settings -Plugins,下载 JunitGenerat ...

  3. 04.SQLServer性能优化之---读写分离&数据同步

    汇总篇:http://www.cnblogs.com/dunitian/p/4822808.html#tsql 过段时间再继续写文章吧,本来准备把SQLServer一个系列写完的,最近状态很差很不好, ...

  4. [APUE]标准IO库(上)

    一.流和FILE对象 系统IO都是针对文件描述符,当打开一个文件时,即返回一个文件描述符,然后用该文件描述符来进行下面的操作,而对于标准IO库,它们的操作则是围绕流(stream)进行的. 当打开一个 ...

  5. HttpUrlConnection 基础使用

    From https://developer.android.com/reference/java/net/HttpURLConnection.html HttpUrlConnection: A UR ...

  6. iOS审核这些坑,腾讯游戏也踩过

    作者:Jamie,专项技术测试工程师,在iOS预审和ASO优化领域从事专项测试相关工作,为腾讯游戏近100个产品提供专项服务. WeTest 导读 在App上架苹果应用商店的过程中,相信大多数iOS开 ...

  7. error C4430:missing type specifier 解决错误

    错误    3    error C4430: missing type specifier - int assumed. Note: C++ does not support default-int ...

  8. maven依赖查询地址

    http://search.maven.org/#search%7Cga%7C1%7C

  9. Windos环境用Nginx配置反向代理和负载均衡

    Windos环境用Nginx配置反向代理和负载均衡 引言:在前后端分离架构下,难免会遇到跨域问题.目前的解决方案大致有JSONP,反向代理,CORS这三种方式.JSONP兼容性良好,最大的缺点是只支持 ...

  10. https 安全验证问题

    最近为了满足苹果的 https 要求, 经过努力终于写出了方法 验证 SSL 证书是否满足 ATS 要求 nscurl --ats-diagnostics --verbose https://你的域名 ...