ffmpeg是编解码的利器,用了很久,以前看过dranger 的教程,非常精彩,受益颇多,是学习ffmpeg api很好的材料。可惜的是其针对的ffmpeg版本已经比较老了,而ffmpeg的更新又很快,有些API已经完全换掉了,导致dranger教程中的
代码已经无法编译,正好最近需要使用ffmpeg,于是就利用dranger的教程和代码,自己边学边记录,于是也就有了这个所谓的 New FFmpeg Tutorial,希望对学习ffmpeg的人有所帮助。
Tutorial 1: Decoding video frames
source code:videoframe.c
视频播放过程
首先简单介绍以下视频文件的相关知识。我们平时看到的视频文件有许多格式,比如 avi, mkv, rmvb, mov, mp4等等,这些被称为容器(Container),
不同的容器格式规定了其中音视频数据的组织方式(也包括其他数据,比如字幕等)。容器中一般会封装有视频和音频轨,也称为视频流(stream)和音频 流,播放视频文件的第一步就是根据视频文件的格式,解析(demux)出其中封装的视频流、音频流以及字幕(如果有的话),解析的数据读到包 (packet)中,每个包里保存的是视频帧(frame)或音频帧,然后分别对视频帧和音频帧调用相应的解码器(decoder)进行解码,比如使用 H.264编码的视频和MP3编码的音频,会相应的调用H.264解码器和MP3解码器,解码之后得到的就是原始的图像(YUV
or RGB)和声音(PCM)数据,然后根据同步好的时间将图像显示到屏幕上,将声音输出到声卡,最终就是我们看到的视频。
FFmpeg的API就是根据这个过程设计的,因此使用FFmpeg来处理视频文件的方法非常直观简单。下面就一步一步介绍从视频文件中解码出图片的过程。
声明变量
首先定义整个过程中需要使用到的变量:
01 |
int main( int argc, const char *argv[]) |
03 |
AVFormatContext *pFormatCtx = NULL; |
05 |
AVCodecContext *pCodecCtx; |
打开文件
接下来我们打开一个视频文件。
av_register_all 定义在 libavformat 里,调用它用以注册所有支持的文件格式以及编解码器,从其实现代码里可以看到它会调用
avcodec_register_all,因此之后就可以用所有ffmpeg支持的codec了。
1 |
if ( avformat_open_input(&pFormatCtx, argv[1], NULL, NULL) != 0 ) |
使用新的API avformat_open_input来打开一个文件,第一个参数是一个AVFormatContext指针变量的地址,它会根据打开的文件信息填充AVFormatContext,需要注意的是,此处的pFormatContext必须为NULL或由avformat_alloc_context分配得到,这也是上一节中将其初始化为NULL的原因,否则此函数调用会出问题。第二个参数是打开的文件名,通过argv[1]指定,也就是命令行的第一个参数。后两个参数分别用于指定特定的输入格式(AVInputFormat)以及指定文件打开额外参数的AVDictionary结构,这里均留作NULL。
1 |
if ( avformat_find_stream_info(pFormatCtx, NULL ) < 0 ) |
4 |
av_dump_format(pFormatCtx, -1, argv[1], 0); |
avformat_open_input函数只是读文件头,并不会填充流信息,因此我们需要接下来调用avformat_find_stream_info获取文件中的流信息,此函数会读取packet,并确定文件中所有的流信息,设置pFormatCtx->streams指向文件中的流,但此函数并不会改变文件指针,读取的packet会给后面的解码进行处理。
最后调用一个帮助函数av_dump_format,输出文件的信息,也就是我们在使用ffmpeg时能看到的文件详细信息。第二个参数指定输出哪条流的信息,-1表示给ffmpeg自己选择。最后一个参数用于指定dump的是不是输出文件,我们dump的是输入文件,因此一定要是0。
现在 pFormatCtx->streams 中已经有所有流了,因此现在我们遍历它找到第一条视频流:
2 |
for ( i = 0; i < pFormatCtx->nb_streams; i++ ) |
3 |
if ( pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) { |
8 |
if ( videoStream == -1 ) |
codec_type 的宏定义已经由以前的 CODEC_TYPE_VIDEO 改为 AVMEDIA_TYPE_VIDEO 了。接下来我们通过这条 video stream 的编解码信息打开相应的解码器:
1 |
pCodecCtx = pFormatCtx->streams[videoStream]->codec; |
3 |
pCodec = avcodec_find_decoder(pCodecCtx->codec_id); |
7 |
if ( avcodec_open2(pCodecCtx, pCodec, NULL) < 0 ) |
分配图像缓存
接下来我们准备给即将解码的图片分配内存空间。
1 |
pFrame = avcodec_alloc_frame(); |
5 |
pFrameRGB = avcodec_alloc_frame(); |
6 |
if ( pFrameRGB == NULL ) |
调用 avcodec_alloc_frame 分配帧,因为最后我们会将图像写成 24-bits RGB 的 PPM 文件,因此这里需要两个
AVFrame,pFrame用于存储解码后的数据,pFrameRGB用于存储转换后的数据:
1 |
numBytes = avpicture_get_size(PIX_FMT_RGB24, pCodecCtx->width, |
这里调用 avpicture_get_size,根据 pCodecCtx 中原始图像的宽高计算 RGB24 格式的图像需要占用的空间大小,这是为了之后给
pFrameRGB 分配空间:
1 |
buffer = av_malloc(numBytes); |
3 |
avpicture_fill( (AVPicture *)pFrameRGB, buffer, PIX_FMT_RGB24, |
4 |
pCodecCtx->width, pCodecCtx->height); |
接着上面的,首先是用 av_malloc 分配上面计算大小的内存空间,然后调用 avpicture_fill 将
pFrameRGB 跟 buffer 指向的内存关联起来。
获取图像
OK,一切准备好就可以开始从文件中读取视频帧并解码得到图像了。
02 |
while ( av_read_frame(pFormatCtx, &packet) >= 0 ) { |
03 |
if ( packet.stream_index == videoStream ) { |
04 |
avcodec_decode_video2(pCodecCtx, pFrame, &frameFinished, &packet); |
07 |
struct SwsContext *img_convert_ctx = NULL; |
09 |
sws_getCachedContext(img_convert_ctx, pCodecCtx->width, |
10 |
pCodecCtx->height, pCodecCtx->pix_fmt, |
11 |
pCodecCtx->width, pCodecCtx->height, |
12 |
PIX_FMT_RGB24, SWS_BICUBIC, |
14 |
if ( !img_convert_ctx ) { |
15 |
fprintf (stderr, "Cannot initialize sws conversion context\n" ); |
18 |
sws_scale(img_convert_ctx, ( const uint8_t* const *)pFrame->data, |
19 |
pFrame->linesize, 0, pCodecCtx->height, pFrameRGB->data, |
22 |
SaveFrame(pFrameRGB, pCodecCtx->width, pCodecCtx->height, i); |
25 |
av_free_packet(&packet); |
av_read_frame 从文件中读取一个packet,对于视频来说一个packet里面包含一帧图像数据,音频可能包含多个帧(当音频帧长度固定时),读到这一帧后,如果是视频帧,则使用 avcodec_decode_video2 对packet中的帧进行解码,有时候解码器并不能从一个packet中解码得到一帧图像数据(比如在需要其他参考帧的情况下),因此会设置
frameFinished,如果已经得到下一帧图像则设置 frameFinished 非零,否则为零。所以这里我们判断 frameFinished 是否为零来确定 pFrame 中是否已经得到解码的图像。注意在每次处理完后需要调用av_free_packet 释放读取的packet。
解码得到图像后,很有可能不是我们想要的 RGB24 格式,因此需要使用 swscale 来做转换,调用sws_getCachedContext 得到转换上下文,使用 sws_scale 将图形从解码后的格式转换为
RGB24,最后将前50帧写人 ppm 文件。最后释放图像以及关闭文件:
04 |
avcodec_close(pCodecCtx); |
05 |
avformat_close_input(&pFormatCtx); |
10 |
static void SaveFrame(AVFrame *pFrame, int width, int height, int iFrame) |
16 |
sprintf (szFilename, "frame%d.ppm" , iFrame); |
17 |
pFile = fopen (szFilename, "wb" ); |
20 |
fprintf (pFile, "P6\n%d %d\n255\n" , width, height); |
22 |
for ( y = 0; y < height; y++ ) |
23 |
fwrite (pFrame->data[0] + y * pFrame->linesize[0], 1, width * 3, pFile); |
- 【转】学习FFmpeg API – 解码视频
ffmpeg是编解码的利器,用了很久,以前看过dranger 的教程,非常精彩,受益颇多,是学习ffmpeg api很好的材料.可惜的是其针对的ffmpeg版本已经比较老了,而ffmpeg的更新又很快 ...
- 学习FFmpeg API – 解码视频
本文转载 视频播放过程 首先简单介绍以下视频文件的相关知识.我们平时看到的视频文件有许多格式,比如 avi, mkv, rmvb, mov, mp4等等,这些被称为容器(Container), 不同的 ...
- 新手学习FFmpeg - 调用API完成录屏并进行H.264编码
Screen Record H.264 目前在网络传输视频/音频流都一般会采用H.264进行编码,所以尝试调用FFMPEG API完成Mac录屏功能,同时编码为H.264格式. 在上一篇文章中,通过调 ...
- (转)学习ffmpeg官方示例transcoding.c遇到的问题和解决方法
转自:https://blog.csdn.net/w_z_z_1991/article/details/53002416 Top 最近学习ffmpeg,官网提供的示例代码transcoding.c演示 ...
- canvas学习之API整理笔记(二)
前面我整理过一篇文章canvas学习之API整理笔记(一),从这篇文章我们已经可以基本了解到常用绘图的API.简单的变换和动画.而本篇文章的主要内容包括高级动画.像素操作.性能优化等知识点,讲解每个知 ...
- 学习某些API的方法
学习某些 API 的方法 这里的 API 可能是某个系统平台,开发包,开发平台,开发工具等等,因为任何系统和技术方法提供给开发者的打包方式都是一系列 API . 无论你有在哪一层级开发,从硬件驱动到系 ...
- Vue学习笔记-API调试工具--->国产apipost按装(比postman好按装好用)
一 使用环境: windows 7 64位操作系统 二 Vue学习笔记-API调试工具--->apipost按装 1.下载: https://www.apipost.cn/ (比postm ...
- 新手学习FFmpeg - 调用API编写实现多次淡入淡出效果的滤镜
前面几篇文章聊了聊FFmpeg的基础知识,我也是接触FFmpeg不久,除了时间处理之外,很多高深(滤镜)操作都没接触到.在学习时间处理的时候,都是通过在ffmpeg目前提供的avfilter基础上面修 ...
- FFmpeg 学习(四):FFmpeg API 介绍与通用 API 分析
一.FFmpeg 相关术语 1. 容器/文件(Container/File):即特定格式的多媒体文件,比如MP4,flv,mov等. 2. 媒体流(Stream):表示在时间轴上的一段连续的数据,比如 ...
随机推荐
- AJAX 状态值(readyState)与状态码(status)详解
总结:status体现的是服务器对请求的反馈,而readystate表明客户端与客户的交互状态过程. 1- AJAX状态值与状态码区别AJAX状态值是指,运行AJAX所经历过的几种状态,无论访问是否成 ...
- LeetCode-Set Matrix Zeroes
Given a m x n matrix, if an element is 0, set its entire row and column to 0. Do it in place. public ...
- 跳过IE10安装VS2013
@ECHO OFF :IE10HACK REG ADD "HKLM\SOFTWARE\Wow6432Node\Microsoft\Internet Explorer" /v Ver ...
- JS关于时间的计算
用javascript返回两个时间差,精确到秒: Date.diff = function(a,b){ if(a instanceof Date && b.ins ...
- 用CorelDRAW等分分割图片的方法
在CorelDRAW中,想要将图片等分分割可以通过放置容器来实现,根本不需要裁剪工具和辅助线.例如两等分:首先要建立确定等分的份数,建立长方形或正方形.然后把图片放置容器,调整位置,做无缝拼接就可以了 ...
- mysql总结
//查询日期之前的差距 select user_name , from_unixtime(user_lastlogin_time),now() , year(now())- ...
- 高通AR增强现实Unity3D
AR: 增强现实,台湾翻译叫做扩张实境 1.注册.然后下载sdk(注册账号主要是为了第3步中制作识别图而用的) 下载地址:https://developer.vuforia.com/resources ...
- zepto.js使用前注意
API:http://www.css88.com/doc/zeptojs_api/ 一.建议:不要从官网下载,而是从 Github 下载了源代码之后自己 Build 一个版本,这样你可以自行挑选适合的 ...
- <<Numerical Analysis>>笔记
2ed, by Timothy Sauer DEFINITION 1.3A solution is correct within p decimal places if the error is l ...
- 启用vim-ruby的rails complete (macvim)
macvim启用rails complete 用vim已经很久了, 一直用spf13也挺好的, 最近遇到要处理一个遗留项目, 数据库字段太多, 因此折腾了一下配置好vim的ruby-completio ...