当今,视频直播技术和实时音视频技术已经是很多行业必备,典型的应用场景有教育直播、远程视频会议、互联网娱乐等。在移动端发起直播,其画面源的种类是十分有限的,无非是取摄像头、截屏等。PC端由于其系统资源充足,应用程序丰富,画面源种类多样,更适合作为主播程序运行的平台。在实际应用中,经常有一些场景是需要将不同的画面源合在一起,然后推流出去的。本文粗浅介绍一些网易云信在开发过程中总结的一些获取不同画面源的画面并将其合并的方法。

相关阅读推荐

如何快速实现移动端短视频功能?

视频私有云实战:基于Docker构建点播私有云平台

各类画面源的截取

  1. 摄像头画面

Windows下采集摄像头画面,DShow是最常用的方法之一。通过DShow采集摄像头数据,创建视频采集Filter,将其加入到图表IGraphBuilder中,用IMediaControl接口来控制流媒体在Filter Graph中的流动,再通过Render来获取视频的原始数据。以上流程封装在了我们的SDK中,用户可以直接调用SDK接口。

  1. 桌面取屏及应用程序窗口截取

在Windows系统中,桌面和所有应用程序窗口一样,本身也是一个HWND窗口,因此可以放在一起讨论。获取一个窗口的位图数据,最常用的方法是:创建一个用来接收窗口画面的HBITMAP位图对象以及一个HDC设备上下文对象,用SelectObject将两者绑定,然后用BitBlt从被截取窗口的HDC将数据拷贝到目标HDC。下面列出关键代码:

HDChDc = GetDC(capture_hwnd_);

HDCmem_dc = CreateCompatibleDC(hDc); //创建一个兼容DC

HBITMAPcapture_bitmap_ = ::CreateDIBSection(mem_dc, &bmi, DIB_RGB_COLORS,

(void**)&capture_data_, NULL, 0); //创建HBITMAP

HBITMAPold_hbitmap = (HBITMAP)SelectObject(mem_dc, capture_bitmap_); //将mem_dc和capture_bitmap_绑定

BitBlt(mem_dc, 0, 0, capture_width, capture_height, hDc, real_rect.left, real_rect.top, SRCCOPY);

SelectObject(mem_dc, old_hbitmap); //还原

DeleteDC(mem_dc); //销毁

ReleaseDC(capture_hwnd_, hDc); //释放

  1. 其他截屏/截窗口方法

教育直播中,PPT分享是非常重要的一个场景。但是据我考查,自从Microsoft Office 2013之后,BitBlt就取不到Word、Excel、PPT窗口的内容了,截到的是一片白色。但是用PrintWindow这个Windows API却可以取到。调用PrintWindow的程序会收到WM_PRINT或WM_PRINTCLIENT消息。PrintWindow的效率比BitBlt低,但当BitBlt无法取到时,可以用PrintWindow。

越来越多的程序的画面是在显存中的,此时,BitBlt和PrintWindow都不管用(得到的都是一块黑色的位图)。可以考虑用DirectX的方法。而且DirectX方法由于使用了GPU,所以相较前面两种方法效率更高。以下是DirectX截屏的代码:

externIDirect3DDevice9* g_pd3dDevice;

voidCaptureScreen()

{

IDirect3DSurface9* pSurface;

g_pd3dDevice->CreateOffscreenPlainSurface(ScreenWidth, ScreenHeight,

D3DFMT_A8R8G8B8, D3DPOOL_SCRATCH, &pSurface, NULL);

g_pd3dDevice->GetFrontBufferData(0, pSurface);

D3DXSaveSurfaceToFile("Desktop.bmp", D3DXIFF_BMP, pSurface, NULL, NULL);

pSurface->Release();

}

GetFrontBufferData之后,也可以调用IDirect3DSurface9::GetDC()从pSurface得到HDC,然后用BitBlt将其拷贝到目标HDC。

  1. 获取本地图片的位图数据

将本地图片(jpg、bmp、png、gif等格式)加载到内存,并取得其位图句柄或像素首地址的方法有很多种。这里列举几种最常见的。

GdiPlus方法比较简单。首先是通过图片路径创建一个Gdiplus::Bitmap对象,通过Gdiplus::Bitmap::LockBits()方法可以得到图片的数据,存放在一个Gdiplus::BitmapData结构中。Gdiplus::BitmapData::Scan0就是图片像素数据的首地址。如果想得到该图片的HBITMAP句柄,只需调Gdiplus::Bitmap::GetHBITMAP()即可。

另一种方法是使用Windows API LoadImage来加载一个本地bmp图片得到HBITMAP句柄,但这种方法似乎只能加载位图文件(.bmp格式)。使用ATL的CImage只需要3行代码即可得到一个图片文件的HBITMAP句柄。

CImagecbmp;

cbmp.Load(path);

HBITMAP image_bitmap = cbmp.Detach();

画面合成

主播常常希望同时将自己的摄像头画面和桌面内容或者某个程序的画面共享给观众,有时甚至需要同一时刻分享10个以上的画面源。这时候,需要将多个画面粘贴到一个目标画面上,我们称这个过程为画面合成。合成的画面通常还要支持改变各个画面的尺寸、位置等操作。这样一来,程序性能成了瓶颈问题。

首先,对于各种画面源的截取应该尽量采用高效的方式,其次,画面的拉伸压缩是比较耗性能的地方。在1秒钟需要合成20帧画面的要求下,应该避免直接强行压缩HBITMAP,而是采用一些有加速的方案。

  1. LibYuv方案

我们找到一个一个yuv库(LibYuv Project),支持图形数据从rgb格式到各种yuv格式之间的互相转换(定义在libyuv/convert.h中)。比较重要的一点是,它对yuv格式图形的拉伸和压缩以及其他各种变换(定义在libyuv/scale.h中)是有加速的。正好我们最终要推流的格式也是yuv格式的,所以我们方案的流程是:取得各个画面源的画面之后,先将它们各自转化为yuv格式,然后把这些yuv画面按照我们制定的方式粘贴到一个目标yuv画面上,最后将目标yuv画面数据推流出去。另外,由于主播的窗口上也要显示合并画面,所以还要把目标画面转成rgb格式渲染到窗口HDC上。

当然,由于存在rgb格式和yuv格式之间反复的转换以及频繁的scale,而且yuv加速毕竟是软件方式,程序的CPU占用率还是有点高。如果能采用DirectX、OpenGL等硬件加速解决方案,对程序性能以及用户体验的提升应该是比较明显的。

  1. DirectX 9方案

在DirectX 9方案中,我们的每个画面源以及最终的目标合成画面,都对应一个表面(IDirect3DSurface9)和一个纹理(IDirect3DTexture9)。

由于画面源的颜色内存可能会被频繁访问和修改,所以创建其表面或纹理时,应该将其创建在系统内存或AGP中(D3DPOOL_MANAGED)而不是显存中。对于yuv格式的摄像头数据或网络视频帧,DirectX可以创建能直接接受yuv数据的纹理(D3DFMT_UYVY)。合成的时候,调用IDirect3DDevice9::DrawPrimitive()来将每个画面源绘制到目标画面上。

而最终合成画面是要显示到窗口上的,所以应该创建在显存中(D3DPOOL_DEFAULT)。渲染的时候,调用IDirect3DDevice9::DrawPrimitive()将目标画面的纹理绘制到窗口的渲染目标纹理上,或者调用IDirect3DDevice9::StretchRect()将目标画面的表面粘贴到窗口的back buffer上。

另外,由于要取得目标画面的数据用于推流,我们还要调用IDirect3DDevice9::CreateOffscreenPlainSurface()在系统内存中(D3DPOOL_SYSTEMMEM)创建一个离屏表面,用IDirect3DDevice9::GetRenderTargetData()将目标画面取到离屏表面上,然后IDirect3DSurface9::LockRect()就能得到目标画面的rgb格式数据了,将其转化为yuv格式就可以推流出去了。

  

直播产品由于需要对每一帧画面做处理,画面的清晰度要高,帧率还不能太低,所以通常会存在消耗系统资源过多的问题。无论是取画面还是合成画面,方法有很多,不仅限于上面几种。Win API效率一般,如果对程序性能要求高,就要在其他方面去想法设法减少资源消耗。而DirectX虽然对2D图形加速不如3D加速那么显著,但还是胜过Win API的。需要注意的是,使用DirectX时要非常清楚各个参数的意义,比如设备类型(D3DDEVTYPE)、内存池类型(D3DPOOL)、用途类型(D3DUSAGE)等等。参数用错,可能导致其性能还不如Win API。

以上就是视频直播中Windows中各类画面源的截取和合成方法总结。

另外,想要获取更多产品干货、技术干货,记得关注网易云信博客

视频直播:Windows中各类画面源的截取和合成方法总结的更多相关文章

  1. Windows中Nginx配置nginx.conf不生效解决方法(路径映射)

    Windows中Nginx配置nginx.conf不生效解决方法 今天在做Nginx项目的时候,要处理一个路径映射问题, location /evaluate/ { proxy_pass http:/ ...

  2. 在Windows中运行Linux bash命令的几种方法

    如果你正在课程中正在学习 shell 脚本,那么需要使用 Linux 命令来练习命令和脚本. 你的学校实验室可能安装了 Linux,但是你自己没有安装了 Linux 的笔记本电脑,而是像其他人一样的 ...

  3. 问题004:如何在windows中打开命令行,有几种方法?

    第一种方法:按快捷键 Win+R (run),然后运行框中输入cmd. 第二种方法:开始菜单-->运行-->然后运行框中输入cmd. 第三种方法:在附件当中,找命令行选项即可.

  4. Windows中Nginx配置nginx.conf不生效解决方法

    转:https://lucifer.blog.csdn.net/article/details/83860644?utm_medium=distribute.pc_relevant.none-task ...

  5. windows中java读目录空格变成%20 处理方法

    URL url = Thread.currentThread().getContextClassLoader().getResource(""); String path = ur ...

  6. 视频直播技术之iOS端推流

    随着网络基础建设的发展和资费的下降,在这个内容消费升级的时代,文字.图片无法满足人们对视觉的需求,因此视频直播应运而生.承载了实时性Real-Time和交互性的直播云服务是直播覆盖各行各业的新动力.网 ...

  7. 视频直播源码开发中的流媒体协议:rtmp协议

    一.概念与摘要 视频直播源码的RTMP协议从属于应用层,被设计用来在适合的传输协议(如TCP)上复用和打包多媒体传输流(如音频.视频和互动内容).RTMP提供了一套全双工的可靠的多路复用消息服务,类似 ...

  8. iOS中集成ijkplayer视频直播框架

    ijkplayer 是一款做视频直播的框架, 基于ffmpeg, 支持 Android 和 iOS, 网上也有很多集成说明, 但是个人觉得还是不够详细, 在这里详细的讲一下在 iOS 中如何集成ijk ...

  9. Android中直播视频技术探究之---视频直播服务端环境搭建(Nginx+RTMP)

    一.前言 前面介绍了Android中视频直播中的一个重要类ByteBuffer,不了解的同学可以 点击查看 到这里开始,我们开始动手开发了,因为我们后续肯定是需要直播视频功能,然后把视频推流到服务端, ...

随机推荐

  1. 【每日一句】make a scene

    scene有场面.场景的意思,只是make a scene可不是指做场面.scene还有还有一个意思,指很生气而大吵大闹(的情景),因此make a scene就是指某人情绪失控发脾气.如今一起从以下 ...

  2. Altera公司高速PCB布线指南

    来至Altera公司的高速PCB布线指南,该文档言简意赅,深入浅出,对于日常高速PCB布局布线中经常碰到的一些问题进行了解析.例如:板材的选择,介电常数及损耗因子对高速高频线路的影响,传输线,阻抗控制 ...

  3. WPF 悬浮键盘

    原文:WPF 悬浮键盘 public class TouchScreenKeyboard : Window { #region Property & Variable & Constr ...

  4. css3 位置选择器 类似jq的:eq(0)

    JQ使用 :eq(位置),可以选择第几个元素 CSS3里面新增了一个用法,:nth-child(位置) 可实现和JQ同样的功能 需要注意的是jq第一个是从0开始,CSS的第一个是从1开始

  5. iOS NSString追加字符串的方法

    第一种: NSArray *array = [NSArray arrayWithObjects:@"Hello",@" ",@"world" ...

  6. Win8Metro(C#)数字图像处理--2.12Sobel边缘检测

    原文:Win8Metro(C#)数字图像处理--2.12Sobel边缘检测  [函数名称] 图像Sobel边缘检测函数SobelEdgeProcess(WriteableBitmap src) [ ...

  7. win10 uwp ApplicationView

    原文:win10 uwp ApplicationView 本文和大家介绍一个重要的类,他可以用来设置窗口,如设置启动大小,设置是否允许截图,是否进入全屏,所有和窗口有关的,都可以在他这里设置. 可以使 ...

  8. 【转】python Counter模块

    >>> c = Counter() # 创建一个新的空counter >>> c = Counter('abcasdf') # 一个迭代对象生成的counter & ...

  9. UWP-动态磁贴

    原文:UWP-动态磁贴 来自:IT追梦园 (http://www.zmy123.cn/?p=1172) UWP应用的一大特色就是动态磁贴,所以,你的应用如果还没有设置动态磁贴,那么,和我一起来为应用加 ...

  10. ext中设置grid单选,取消选择

    原代码(无法取消选择)如下: selModel: Ext.create('Ext.selection.CheckboxModel', { mode: "SINGLE", allow ...