一.录制分类 在音视频会议.在线教育等系统中,录制是一个特别重要的功能 录制一般分为服务端录制和客户端录制 服务端录制:优点是不用担心客户因自身电脑问题造成录制失败(如磁盘空间不足),也不会因录制时抢占资源(CPU 占用率过高)而导致其他应用出现问题等:缺点是实现的复杂度很高. 客户端录制:优点是方便录制方(如老师)操控,并且所录制的视频清晰度高,实现相对简单.但是它对内存.硬盘的要求 比较高 它们各有优劣,因此大系统一般会同时支持客户端录制与服务端录制. 二.录制思考 第一:录制后音视频流的存…
一.共享桌面原理 共享桌面在直播系统中是一个必备功能 共享者:每秒钟抓取多次屏幕,每次抓取的屏幕都与上一次抓取的屏幕做比较,取它们的差值,然后对差值进行压缩:如果是第一次抓屏或切幕的情况,即本次抓取的屏幕与上一次抓取屏幕的变化率超过 80% 时,就做全屏的帧内压缩.最后再将压缩后的数据通过传输模块传送到观看端:数据到达观看端后,再进行解码,这样即可还原出整幅图片并显示出来 远程控制端:当用户通过鼠标点击共享桌面的某个位置时,会首先计算出鼠标实际点击的位置,然后将其作为参数,通过信令发送给共享端.…
一.WebRTC的由来 对于前端开发小伙伴而言,如果用 JavaScript 做音视频处理 在以前是不可想象的,因为首先就要考虑浏览器的性能是否跟得上音视频的采集 但是 Google 作为国际顶尖科技公司,就喜欢做一些常人无法想象的事情 2011 年,Google 创立了 WebRTC 项目,其愿景就是可以在浏览器之间快速地实现音视频通信. 随着时间的发展,在浏览器之间进行实时音视频通信已经已经变很成熟了 二.1对1音视频通话结构 从上图结构图可以看出,1对1的视频通话结构大体上可以分为四个部分…
一.拍照原理 好多人小时候应该都学过,在几张空白的纸上画同一个物体,并让物体之间稍有一些变化,然后连续快速地翻动这几张纸,它就形成了一个小动画,音视频播放器就是利用这样的原理来播放音视频文件的 播放器播的是非编码帧(解码后的帧),这些非编码帧就是一幅幅独立的图像 浏览器提供了一个非常强大的对象,称为Canvas,你可以把它想像成一块画布,你可以在上面画点.面.图形 拍照原理其实就是获取摄像头里面的非编码帧数据,并在Canvas上画出来 <!DOCTYPE html> <html lang…
http://jingyan.baidu.com/article/656db918e37914e381249c9f.html?qq-pf-to=pcqq.c2c 自从装上Win10系统后,跟随前些IE也到了11,但每次打开自己喜欢的网站,发现有中英双语的网站,IE都自动选择英文为,非常不爽.每次都要手工去更改.经过他人在Win8的经验,经过摸索,我们把WIN10中修改默认语言为中文. 工具/原料   WIN 10 IE 11 浏览器 方法/步骤     每次打开IE,访问一些含有中英双语的网,都…
本文记录IOS平台下基于FFmpeg的视频解码器.该示例C语言的源代码来自于<最简单的基于FFMPEG+SDL的视频播放器>.相关的概念就不再重复记录了. 源代码 项目的目录结构如图所示. C代码位于ViewController.m文件中,内容如下所示.   /**   * 最简单的基于FFmpeg的视频解码器-IOS   * Simplest FFmpeg IOS Decoder   *   * 雷霄骅 Lei Xiaohua   * leixiaohua1020@126.com   * 中…
前言 随着计算机技术和 Internet 的日新月异,视频点播技术因其良好的人机交互性和流媒体传输技术倍受教育.娱乐等行业青睐,而在当前, 云计算平台厂商的产品线不断成熟完善, 如果想要搭建视频点播类应用,告别刀耕火种, 直接上云会扫清硬件采购. 技术等各种障碍,以阿里云为例: 这是一个非常典型的解决方案, 对象存储 OSS 可以支持海量视频存储,采集上传的视频被转码以适配各种终端,CDN 加速终端设备播放视频的速度.此外还有一些内容安全审查需求, 比如鉴黄.鉴恐等. 而在视频点播解决方案中,视…
本章我们讨论javascript在浏览器中是如果工作的,包括:下载.解析.执行的全过程.javascript的这些讨人嫌的地方我们是知道的: i.需要串行下载 ii.需要解析 iii.需要串行执行 而在chrchromium中,js是这样解析的:(其实第一章末尾已经有了) 至于一些步骤的解释,这里就不再复述了,不懂的请戳:浏览器渲染过程 拉至末尾. 简直就是大魔王有木有?心中可有一万只草泥马奔腾而过?为什么在所有的下载线程中: i.css加载不会阻塞页面 ii.images加载不会阻塞页面 ii…
webrtc的video_capture模块,为我们在不同端设备上采集视频提供了一个跨平台封装的视频采集功能,如下图中的webrtc的video_capture源码,现webrtc的video_capture模块支持android.ios.linux.mac和windows各操作平台下的视频采集,  我们在不同端设备上开发视频直播的时刻,也可以使用该模块进行视频采集. 该视频采集模块的库头文件为: class VideoCaptureModule: public RefCountedModule…
一.UDP/TCP 如果让你自己开发一套实时互动直播系统,在选择网络传输协议时,你会选择使用UDP协议还是TCP协议 假如使用 TCP 会怎样呢?在极端网络情况下,TCP 为了传输的可靠性,将会进行反复重发信息的操作 在 TCP 协议中,为了避免重传次数过多,定时器的超时时间会按 2 的指数增长,也就是说,假设第一次设置的超时时间是 1 秒,那么第二次就是 2 秒,第三次是 4 秒--第七次是 64 秒.如果第七次之后仍然超时,则断开 TCP 连接,而对于这么长时间的延迟,实时互动的直播系统是根…