MediaCodec 低延时解码

介绍

我们在使用Android的硬解进行解码时，如果是Android11以上则可以使用其特性低延迟，谷歌官方文档

以下是Android 11支持的低时延特性：

1. ANGLE支持：Android 11引入了ANGLE（Almost Native Graphics Layer Engine）支持，它是一个开源的跨平台图形引擎，可以将OpenGL ES和Vulkan API转换为DirectX API。使用ANGLE可以提高图形渲染的性能和稳定性。

2. 延迟减少API：Android 11中新增了延迟减少API，可以帮助应用在系统层面优化处理延迟，从而提升应用的实时性。其中包括了一个新的API，可以帮助应用在音频处理上实现更低的延迟。

3. 零拷贝视频编解码：Android 11支持零拷贝视频编解码，可以将数据直接从内存中传输到硬件解码器中，从而降低处理延迟和功耗。

4. 低延迟视频播放：Android 11中新增了低延迟视频播放特性，可以在硬件加速器中使用低延迟模式进行视频解码，从而降低视频播放的延迟和卡顿。

总的来说，Android 11支持的低时延特性主要涵盖了图形渲染、音频处理、视频编解码等方面，可以帮助应用在提升实时性和性能表现方面更上一层楼。

使用

Java层的使用

format.setInteger(MediaFormat.KEY_LOW_LATENCY, 1);

native层的使用

AMediaFormat_setInt32(ndkFormat, "low-latency", 1);

MediaCodec开启低延时和不开启底层的处理方式是不同的。具体来说，它们在以下方面有所不同：

解码方式：开启低延时模式时，MediaCodec会尽可能地利用底层硬件进行解码，从而提高解码速度和实时性。而不开启底层时，MediaCodec会使用软件方式进行解码，速度较慢，延迟较高。

缓冲区处理：开启低延时模式时，MediaCodec会尽可能减少缓冲区的大小，从而降低数据传输的延迟。而不开启底层时，MediaCodec会使用默认的缓冲区大小，数据传输的延迟较高。

参数设置：开启低延时模式时，MediaCodec会根据实际情况调整一些解码参数，如缓冲区大小、解码线程数等，以实现更低的延迟。而不开启底层时，MediaCodec会使用默认的参数设置，延迟较高。

线程管理：开启低延时模式时，MediaCodec会使用异步线程进行解码操作，从而避免了主线程的阻塞和延迟。而不开启底层时，MediaCodec会使用同步线程进行解码操作，主线程容易被阻塞，导致应用程序的卡顿和延迟。

综上所述，MediaCodec开启低延时和不开启底层的处理方式是不同的，前者可以尽可能地利用底层硬件加速和优化处理，从而实现更低的延迟和更高的实时性，而后者则使用软件方式进行解码，速度较慢，延迟较高。开发者可以根据具体需求和场景，选择合适的处理方式，以实现更加高效和实时的视频解码。