如何快速的开发一个完整的iOS直播app(编解码原理)

为什么要编码

• 编码就是压缩图像
• 手机摄像头采集的都是一帧一帧的图片，只要每秒采集了24帧，看起来就比较流畅,视频就是由一帧一帧的图片构成的，常见图片格式png,jpg，一张图片2M，一秒钟30帧，那么1秒就是60M，这么多保存到本地是没问题，但是进行网络传输，尤其是在外网传输，每一秒传输60M，在中国是不可能达到这个带宽，那这时候就要对每一帧图象进行压缩
• 带宽:每秒网络传输的数据，每秒10M,每秒传输10M数据

怎么编码

H.264算法

• 因为第一帧和第二帧，可能没什么变化，`只传输不一样的部分``，这样图片压缩率就非常高,所以在网络中传输都会采用h.264进行传输，当然现在也有H.265，如果传输的720p，其实差距不大，h.265用于高清图片4k,比较大的图片.

• I frame ：帧内编码帧 又称intra picture，I 帧通常是每个 GOP（MPEG 所使用的一种视频压缩技术）的第一个帧，经过适度地压缩，做为随机访问的参考点，可以当成图象。I帧可以看成是一个图像经过压缩后的产物。

• P frame: 前向预测编码帧 又称predictive-frame，通过充分将低于图像序列中前面已编码帧的时间冗余信息来压缩传输数据量的编码图像，也叫预测帧；

• B frame: 双向预测内插编码帧 又称bi-directional interpolated prediction frame，既考虑与源图像序列前面已编码帧，也顾及源图像序列后面已编码帧之间的时间冗余信息来压缩传输数据量的编码图像，也叫双向预测帧；

怎么解码

学习重点推荐

• 重点了解解码，编码FFmpeg有X264编码，但是实际过程中，很少用到软编码，软编码效率非常低，因为大量的嵌入式设备手机都集成了硬编码，可以直接把图像编码成H.264

解码

• 解码的时候仅用I帧的数据就可重构完整图像
• 在发网络数据的时候，2到3秒就需要一个I帧，否则传给去的图片可能半天看不到图像（IPBPBPB IPBPBPB）
• h.264由一个个NAL组成，每一段NAL由IPB组成(IPBPBPB)，解析NAL还原图像，就能展示

作者：袁峥
链接：https://www.jianshu.com/p/d11b1685ce86
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。