什么是 WebRTC

2010 年 5 月,谷歌收购了 Global IP Solutions(简称 GIPS),这是一家专注于 VoIP 和视频会议软件的公司,已开发出 RTC 所需的多项关键组件,如编解码器和回声消除技术。谷歌随后将 GIPS 技术开源,并与 IETF 和 W3C 等标准机构合作,以确保行业共识。2011 年 5 月,谷歌发布了一个名为 WebRTC 的开源项目,旨在实现基于浏览器的实时通信。 它于2011年6月1日开源并在Google、Mozilla、Opera支持下被纳入万维网联盟的W3C推荐标准。此后,相关协议在 IETF 的标准化工作以及浏览器 API 在 W3C 的标准化工作持续进行。

WebRTC,名称源自网页即时通信(英语:Web Real-Time Communication)的缩写,是一个支持浏览器或移动应用程序(安卓苹果)进行实时点对点的音频、视频和数据通信的开放标准 API。

WebRTC 的独特之处在于,一旦连接建立,数据便可以直接在浏览器之间实时传输,无需经过服务器。通过绕过服务器,减少了延迟,因为数据不必先发送到服务器,这使得 WebRTC 非常适合用于音频和视频的交换。

WebRTC 如今已嵌入所有现代浏览器中,开发者可以利用 WebRTC 的 JavaScript API 为浏览器用户构建应用程序。当然 WebRTC 现在也被很多编程语言所支持,包括但不限于 C、C++、Go、Java、PHP、JavaScript 等等,因此可以实现跨平台的实时通信方案。

WebRTC 的工作流程

WebRTC 的工作流程比 Websocket、HTTP 协议来说相对复杂一些,它用到了很多个协议一起协同工作。

假设有两个对等方,A和B,他们使用WebRTC进行双向媒体流传输(例如,视频聊天应用)。当A想要呼叫B时,具体流程如下:

生成SDP Offer:A的应用程序首先需要生成一个SDP Offer。SDP(Session Description Protocol)Offer包含了A应用程序想要建立的会话信息,例如使用的编解码器类型、这是音频还是视频会话等内容。SDP Offer不包括ICE候选,而仅包含会话描述信息。

收集ICE候选者:在生成SDP Offer后,A的应用程序会开始收集ICE候选者。为了收集候选者,A的应用程序会向STUN服务器发送请求。STUN服务器返回A的公共IP地址和端口,A的应用程序将这些信息作为候选者添加到ICE候选者列表中。A的应用程序也会收集本地网络的候选信息(如本地IP/端口对)。这些候选者是为了后续的连接性检查。

通过信令通道传递SDP Offer:A生成了SDP Offer和相应的ICE候选者列表后,会通过一个信令通道(如HTTPS、WebSocket等)将SDP Offer传递给B的应用程序。需要注意的是,ICE候选者可以在这一步通过信令通道单独传递,通常是在SDP Offer之后或者与Offer一起传输。

生成SDP Answer:B的应用程序接收到SDP Offer后,进行以下处理:

B的应用程序会生成一个SDP Answer,作为对SDP Offer的回应。

同时,B的应用程序会收集自己的ICE候选者。类似于A的做法,B会向STUN服务器发出请求并收集公共IP地址/端口,形成自己的候选者列表。

通过信令通道传递SDP Answer和ICE候选者:B的应用程序将SDP Answer和自己的ICE候选者列表通过信令通道传递给A的应用程序。

连接性检查和媒体传输:在双方互相交换SDP Offer和Answer后,每个应用程序会开始连接性检查。双方应用程序的ICE协议会使用对方提供的候选IP/端口对,发送STUN请求进行连接性验证。如果请求得到了响应,相关的候选者会被认为是有效的,并标记为可用。

选择最终的IP/端口对:经过一系列的连接性检查后,A和B将协商并选择一个有效的IP/端口对,用于实际的媒体流传输。

使用TURN服务器(如有必要):如果任何一方的应用程序无法找到一个有效的IP/端口对,则会向TURN服务器发送请求,以获取一个公共的中继地址。TURN服务器返回的中继地址将会用于建立连接,并通过信令通道进行交换。

下方是一个直观的通信过程:

整个 WebRTC 通信过程中会用到如下的服务器:

信令(Signaling)服务器:用于交换信令信息,WebRTC 没有规定交换信令的方式,一般可用的交换方式是 HTTP、Websocket、MQTT 等等。

STUN 服务器:帮助客户端发现它们的公共IP地址和NAT类型,并为点对点连接提供网络信息。

TURN 服务器(可选):在STUN无法穿透NAT或防火墙时,作为中继服务器转发数据流。TURN服务器提供了一种备用机制,确保即使在极为复杂的网络环境下,WebRTC的点对点连接也能够顺利进行。

认识webRTC的更多相关文章

  1. 使用WebRTC搭建前端视频聊天室——数据通道篇

    本文翻译自WebRTC data channels 在两个浏览器中,为聊天.游戏.或是文件传输等需求发送信息是十分复杂的.通常情况下,我们需要建立一台服务器来转发数据,当然规模比较大的情况下,会扩展成 ...

  2. 使用WebRTC搭建前端视频聊天室——点对点通信篇

    WebRTC给我们带来了浏览器中的视频.音频聊天体验.但个人认为,它最实用的特性莫过于DataChannel——在浏览器之间建立一个点对点的数据通道.在DataChannel之前,浏览器到浏览器的数据 ...

  3. 使用WebRTC搭建前端视频聊天室——信令篇

    博客原文地址 建议看这篇之前先看一下使用WebRTC搭建前端视频聊天室——入门篇 如果需要搭建实例的话可以参照SkyRTC-demo:github地址 其中使用了两个库:SkyRTC(github地址 ...

  4. 使用WebRTC搭建前端视频聊天室——入门篇

    http://segmentfault.com/a/1190000000436544 什么是WebRTC? 众所周知,浏览器本身不支持相互之间直接建立信道进行通信,都是通过服务器进行中转.比如现在有两 ...

  5. WebRTC的一个例子

    内容引自:一个WebRTC实现获取内网IP的例子(穿透NAT) 网页代码直接复制到下面(如果以上链接被墙,可以直接将下面代码保存文件,然后在浏览器打开即可,不支持IE浏览器): <!doctyp ...

  6. WebRTC音频预处理单元APM的整体编译及使用

    正文 行的gnu静态库链接路径是针对NDK版本 r8d 的,如读者版本不匹配,请自行找到 libgnustl_static.a 静态库的路径进行替换. 3)本示例并不打算编译 WebRTC 的测试工程 ...

  7. 单独编译使用WebRTC的音频处理模块

    块,每块个点,(12*64=768采样)即AEC-PC仅能处理48ms的单声道16kHz延迟的数据,而 - 加载编译好的NS模块动态库 接下来只需要按照 此文 的描述在 android 的JAVA代码 ...

  8. webrtc中APM(AudioProcessing module)的使用2

    这个其实就是从Audio_processing.h中拿出来的. APM should be placed in the signal chain as close to the audio hardw ...

  9. webrtc中APM(AudioProcessing module)的使用

    一,实例化和配置 AudioProcessing* apm = AudioProcessing::Create(0); //这里的0指的是channelID,只是一个标注那个通道的表示 apm-> ...

  10. WebRTC通信流程

    WebRTC是HTML5支持的重要特性之一,有了它,不再需要借助音视频相关的客户端,直接通过浏览器的Web页面就可以实现音视频对聊功能.而且WebRTC项目是开源的,我们可以借助WebRTC源码快速构 ...

随机推荐

  1. Qt音视频开发26-ffmpeg播放器

    一.前言 用ffmpeg来实现自己的播放器,这是一直以来的一个目标,之前的难点卡在音视频同步以及如何播放声音这两点(尽管之前已经进行过不少的尝试和探索,但是问题还是挺多,比如音视频同步不完美,有些文件 ...

  2. URL中文转换成类似%E6%96%97%E7%A0%B4(url编码)格式

    要将汉字转换成编码格式拼接成请求,没怎么搞过,一番查找,最终确定使用C# 里的WebUtility using System.Net; var a = WebUtility.UrlEncode(&qu ...

  3. vue基础5

    1.组件通信 a.父传子: // 总结:1.父传子:传递的是基础数据类型 给父组件中的子组件绑定属性,此时属性的值在父组件中已经定义,子组件需要通过porps接收,要用数组接收 在子组件中直接渲染接收 ...

  4. Solution Set - “盛开无法定格的花”

    目录 0.「ARC 160D」Mahjong 1.「BJOI 2017」「洛谷 P3715」魔法咒语 2.「清华集训 2017」「洛谷 P4227」我的生命已如风中残烛 3.「集训队互测 2018」「 ...

  5. 微服务实战系列(六)-网关springcloud zuul-copy

    1. 场景描述 今天接着介绍springcloud,今天介绍下springcloud的路由网关-Zuul,外围系统或者用户通过网关访问服务,网关通过注册中心找到对应提供服务的客户端,网关也需要到注册中 ...

  6. Netty的实现原理、特点与优势、以及适用场景

    Netty 1.介绍 Netty是由JBOSS提供的一个java开源框架. Netty是一个高性能.异步事件驱动的NIO框架,它提供了对TCP.UDP和文件传输的支持.作为当前最流行的NIO框架,Ne ...

  7. cmake-4

    cmake-4学习,参考 cmake构建c++项目快速入门2-1 cmake构建c++项目快速入门2-2 了解 cmake的工作原理: Windows下用cmake编译cmake (1)先下载cmak ...

  8. Cuckoo Hash

    最近在看APSI中,涉及到了一些hash技术(朴素hash,置换hash,布谷鸟hash),Hash 技术是 PSI 协议中优化通信复杂度和计算杂度的重要工具之一,现在系统的认识一下! 更多关于哈希函 ...

  9. 舞台已就位!坐等AI玩家集结!

    舞台已就位!坐等AI玩家集结!

  10. 识别与防御CSRF漏洞

    识别与防御CSRF漏洞 CSRF(Cross-Site Request Forgery,跨站请求伪造),通常也被称为"一键攻击"或"会话劫持",其缩写为CSRF ...