iOS视频处理

在iOS中，apple提供了AVFoundation 用来处理音视频，基本能满足一些常用的音视频处理需求，而且能调用的硬件编解码接口，能提高不少效率，这是其它库所不能达到的。最近做过的Recnow SDK中已经集成了这些功能，像一些视频长度剪辑、视频插入、视频转场、添加配音、添加动画效果等，还有一些视频参数的改变，都可以使用AVFoundation比较轻松的实现。具体可以参照一下：https://developer.apple.com/library/ios/documentation/AudioVideo/Conceptual/AVFoundationPG/Articles/00_Introduction.html#//apple_ref/doc/uid/TP40010188

 

在对视频添加特效方面，就不得不提一下GPUImage了，作者是个牛人，github上star上万。

因为视频最终也是通过GPU，一帧一帧渲染到屏幕上的，所以我们可以利用opengl es，对视频帧进行各种加工，从而视频各种不同的效果，现在的各种美颜和视频添加特效的app都是这样实现的。

GPUImage实现了很多种滤镜功能，而且效率号称比apple 自己的CoreImage还要高一点，不过有一点不足的是这个库对音频的处理基本是捉襟见肘。

下面主要写一点对GPUImage的一些理解：

该库对视频采用的是一种链式的处理模式，如图所示

就好像一个水龙头流出的水，经过若干节管道，然后流向不同的目标。

该库定义了GPUImageOutput 作为视频源头进行输出，这是一个抽象父类，具体的一些类像GPUImageVideoCamera,GPUImageMovie等都是继承自它，这个类就好比水源。

定义了协议GPUImageInput,凡事遵守这个协议的类，都能处理视频流。GPUimageFilter 继承自GPUImageOutput,并且遵守GPUImageInput协议，它相当与一个管道，既能流进，又能流出。

这种设计模式很好的体现了面向协议编程，而不是面向实现，这样设计，方便更好的扩展性，在apple新发布的Swift中，协议变得可以扩展，更加方便面向协议编程。

经过的处理的视频流，定向到不同的target，可以渲染到屏幕或者生成视频文件，比如：GPUImageView。具体可以尝试一下自带的几个demo。GPUImageContext管理OpenGL ES上下文（该部分暂时略过）