26_H.264编码实战

使用FFmpeg命令进行H.264编码
使用FFmpeg代码实现H.264编码
具体代码

本文的主要内容：使用H.264编码对YUV视频进行压缩。

使用FFmpeg命令进行H.264编码

如果是命令行的操作，非常简单。

ffmpeg -s 640x480 -pix_fmt yuv420p -framerate 30 -i out_640x480.yuv -c:v libx264 out.h264

# -c:v libx264是指定使用libx264作为编码器

使用FFmpeg代码实现H.264编码

接下来主要介绍如何通过代码的方式使用H.264编码，用到了avcodec、avutil两个库，整体过程跟《AAC编码实战》类似。

1、获取编码器

codec = avcodec_find_encoder_by_name("libx264");

前面对音频进AAC编码时，AAC编码器对数据的采样格式是有要求的，比如libfdk_aac要求采样格式是s16整型，同样的H.264编码库libx264对输入数据像素格式也有要求，虽然avcodec_open2函数内部也会对像素格式进行检查，但是建议提前检查输入像素格式：

if(!check_pix_fmt(codec,in.format)){

    qDebug() << "Encoder does not support sample format"

                << av_get_pix_fmt_name(in.format);

    return;

}

static int check_pix_fmt(const AVCodec *codec,enum AVPixelFormat pixFmt){

    const enum AVPixelFormat *p = codec->pix_fmts;

    while (*p != AV_PIX_FMT_NONE) {

        if(*p == pixFmt) return 1;

        p++;

    }

    return 0;

}

codec->pix_fmts中存放的是当前编码器支持的像素格式。AV_PIX_FMT_NONE是一个边界标识，用于判断是否遍历结束。

2、创建上下文

ctx = avcodec_alloc_context3(codec);

设置编码上下文参数：

ctx->width = in.width;

ctx->height = in.height;

ctx->pix_fmt = in.format;

// 设置帧率（1秒钟显示的帧数是in.fps）

ctx->time_base = {1,in.fps};

3、打开编码器

ret = avcodec_open2(ctx,codec,nullptr);

也可以通过参数options设置一些编码器特有参数。

4、创建 AVFrame

frame = av_frame_alloc();

av_frame_alloc仅仅是AVFrame分配空间，数据缓冲区frame->data[0]需要我们调用函数av_frame_get_buffer来创建。调用函数av_frame_get_buffer前设置frame的width、height和format，利用width、height和format可算出一帧图像大小，frame->data[0]指向的堆空间其实就是一帧图像的大小：

frame->width = ctx->width;

frame->height = ctx->height;

frame->format = ctx->pix_fmt;

frame->pts = 0;

// 利用width、height、format创建缓冲区

ret = av_frame_get_buffer(frame, 0);

5、创建 AVPacket

pkt = av_packet_alloc();

6、打开文件，从文件读取数据到 AVFrame

// 一帧图片的大小

int imgSize = av_image_get_buffer_size(in.format,in.width,in.height,1);

// 打开文件

if (!inFile.open(QFile::ReadOnly)) {

    qDebug() << "file open error" << in.filename;

    goto end;

}

if (!outFile.open(QFile::WriteOnly)) {

    qDebug() << "file open error" << outFilename;

    goto end;

}

// 读取文件数据

while ((ret = inFile.read((char *) frame->data[0],

                          imgSize)) > 0) {

    // 编码

    if (encode(ctx, frame, pkt, outFile) < 0) {

        goto end;

    }

    //设置帧的序号

    frame->pts++;

}

这里如果我们没有设置帧的序号frame->pts++，运行程序发现Qt控制台会打印如下错误，是因为我们没有设置帧序号导致的：

7、解码

// 返回0：编码操作正常完成,返回负数：中途出现了错误

static int encode(AVCodecContext *ctx,

                  AVFrame *frame,

                  AVPacket *pkt,

                  QFile &outFile) {

    // 发送数据到编码器

    int ret = avcodec_send_frame(ctx, frame);

    if (ret < 0) {

        ERROR_BUF(ret);

        qDebug() << "avcodec_send_frame error" << errbuf;

        return ret;

    }

    // 不断从编码器中取出编码后的数据

    while (true) {

        // 从编码器中获取编码后的数据

        ret = avcodec_receive_packet(ctx, pkt);

        // packet中已经没有数据，需要重新发送数据到编码器（send frame）

        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {

            return 0;

        } else if (ret < 0) { // 出现了其他错误

            ERROR_BUF(ret);

            qDebug() << "avcodec_receive_packet error" << errbuf;

            return ret;

        }

        // 成功从编码器拿到编码后的数据

        // 将编码后的数据写入文件

        outFile.write((char *) pkt->data, pkt->size);

        // 释放资源

        av_packet_unref(pkt);

    }

    return 0;

}

8、释放资源

// 关闭文件

inFile.close();

outFile.close();

// 释放资源

av_frame_free(&frame);

av_packet_free(&pkt);

avcodec_free_context(&ctx);

9、播放h264文件

然后我们使用ffplay播放我们压缩后的h264文件，发现压缩后视频是有问题的：

通过和上面使用ffmpeg命令同样的输入参数编码生成的h264文件对比发现，其大小大了一些，而且视频有一层颜色覆盖。

通过检查发现问题产生的原因是frame->data缓冲区大小超过了一帧图像大小：

// 打印 frame->data：

qDebug() << frame->data[0] << frame->data[1] << frame->data[2];

// 控制台输出：

0x96edd00 0x9738d20 0x974b940

// 计算各平面大小：

Y平面大小 = frame->data[1] - frame->data[0] = 0x9738d20 - 0x96edd00 = 307232 字节

U平面大小 = frame->data[2] - frame->data[1] = 0x974b940 - 0x9738d20 = 76832 字节

// 正确的各平面大小：

Y平面大小 = 640 * 480 * 1 = 307200 字节

U平面大小 = (640 / 2) * (480 / 2) * 1 = 76800 字节

V平面大小 = (640 / 2) * (480 / 2) * 1 = 76800 字节

发现frame数据缓冲区大小比我们预期的要大。查看av_frame_get_buffer源码，是因为函数av_frame_get_buffer内部分配数据缓冲区空间时增加了 32 字节的plane_padding导致的。可以换成函数av_image_alloc或者函数av_image_fill_arrays分配数据缓冲区空间：

 // 创建输入缓冲区 方法一

//    ret = av_image_alloc(frame->data,frame->linesize,in.width,in.height,in.format,1);

// 创建输入缓冲区 方法二

buf = (uint8_t *)av_malloc(imgSize);

ret = av_image_fill_arrays(frame->data,frame->linesize,

                           buf,

                           in.format,in.width,in.height,1);

// 利用width、height、format创建缓冲区 方法三

//    ret = av_frame_get_buffer(frame, 0);

if (ret < 0) {

    ERROR_BUF(ret);

    qDebug() << "av_frame_get_buffer error" << errbuf;

    goto end;

}

// 释放资源

if(frame){

    av_freep(&frame->data[0]);

    //av_freep相当于执行下面两行代码

//        av_free(&frame->data[0]);

//        frame->data[0] = nullptr;

    av_frame_free(&frame);

}

av_frame_get_buffer创建缓冲区后只需要执行av_frame_free(&frame);就可以了
```
if(frame){

    av_frame_free(&frame);

}
```

av_image_alloc创建缓冲区后还需要执行av_freep(&frame->data[0]);

if(frame){

    av_freep(&frame->data[0]);

    //av_freep相当于执行下面两行代码

//        av_free(frame->data[0]);

//        frame->data[0] = nullptr;

    av_frame_free(&frame);

}

av_image_fill_arrays创建缓冲区后需要执行av_freep(&buf),通过qDebug() << buf <<frame->data[0];打印知道这两个值是一样的，说明buf和frame->data[0]是指向同一个区域，因此只需要释放buf就可以了不需要执行av_freep(&frame->data[0])
```
qDebug() << buf <<frame->data[0];

// 打印结果

0x820cf80 0x820cf80
```
```
av_freep(&buf);

// 释放资源

if(frame){

    av_frame_free(&frame);

}
```

具体代码

ffmpegutils.h

#ifndef FFMPEGUTILS_H

#define FFMPEGUTILS_H

#include <QDebug>

#include <QFile>

extern "C" {

    #include <libavcodec/avcodec.h>

    #include <libavutil/avutil.h>

    #include <libavutil/imgutils.h>

}

typedef struct {

    const char *filename;

    int width;

    int height;

    AVPixelFormat format;

    int fps;

} VideoEncodeSpec;

class FFmpegUtils

{

public:

    FFmpegUtils();

    static void h264Encode(VideoEncodeSpec &in,

                          const char *outFilename);

};

#endif // FFMPEGUTILS_H

ffmpegutils.cpp

#include "ffmpegutils.h"

// 处理错误码

#define ERROR_BUF(ret) \

    char errbuf[1024]; \

    av_strerror(ret, errbuf, sizeof (errbuf));

FFmpegUtils::FFmpegUtils(){}

static int check_pix_fmt(const AVCodec *codec,enum AVPixelFormat pixFmt){

    const enum AVPixelFormat *p = codec->pix_fmts;

    while (*p != AV_PIX_FMT_NONE) {

        if(*p == pixFmt) return 1;

        p++;

    }

    return 0;

}

// 返回0：编码操作正常完成,返回负数：中途出现了错误

static int encode(AVCodecContext *ctx,

                  AVFrame *frame,

                  AVPacket *pkt,

                  QFile &outFile) {

    // 发送数据到编码器

    int ret = avcodec_send_frame(ctx, frame);

    if (ret < 0) {

        ERROR_BUF(ret);

        qDebug() << "avcodec_send_frame error" << errbuf;

        return ret;

    }

    // 不断从编码器中取出编码后的数据

    while (true) {

        // 从编码器中获取编码后的数据

        ret = avcodec_receive_packet(ctx, pkt);

        // packet中已经没有数据，需要重新发送数据到编码器（send frame）

        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {

            return 0;

        } else if (ret < 0) { // 出现了其他错误

            ERROR_BUF(ret);

            qDebug() << "avcodec_receive_packet error" << errbuf;

            return ret;

        }

        // 成功从编码器拿到编码后的数据

        // 将编码后的数据写入文件

        outFile.write((char *) pkt->data, pkt->size);

        // 释放资源

        av_packet_unref(pkt);

    }

    return 0;

}

void FFmpegUtils::h264Encode(VideoEncodeSpec &in, const char *outFilename){

    // 文件

    QFile inFile(in.filename);

    QFile outFile(outFilename);

    // 一帧图片的大小

    int imgSize = av_image_get_buffer_size(in.format,in.width,in.height,1);

    // 返回结果

    int ret = 0;

    // 编码器

    AVCodec *codec = nullptr;

    // 编码上下文

    AVCodecContext *ctx = nullptr;

    // 存放编码前的数据（yuv）

    AVFrame *frame = nullptr;

    // 存放编码后的数据（h264）

    AVPacket *pkt = nullptr;

//    uint8_t *buf = nullptr;

    // 获取编码器

    codec = avcodec_find_encoder(AV_CODEC_ID_H264);

//    codec = avcodec_find_encoder_by_name("libx264");

    qDebug() << "codec.name:" << codec->name<<",codec.id:"<<codec->id;

    if(!codec){

        qDebug() << "encoder not found";

        return;

    }

    // 检查输入数据的采样格式

    if(!check_pix_fmt(codec,in.format)){

        qDebug() << "Encoder does not support pixel format"

                    << av_get_pix_fmt_name(in.format);

        return;

    }

    // 创建上下文

    ctx = avcodec_alloc_context3(codec);

    if (!ctx) {

        qDebug() << "avcodec_alloc_context3 error";

        return;

    }

    // 设置参数

    ctx->width = in.width;

    ctx->height = in.height;

    ctx->pix_fmt = in.format;

    // 设置帧率（1秒钟显示的帧数是in.fps）

    ctx->time_base = {1,in.fps};

    // 打开编码器

    ret = avcodec_open2(ctx,codec,nullptr);

    if (ret < 0) {

        ERROR_BUF(ret);

        qDebug() << "avcodec_open2 error" << errbuf;

        goto end;

    }

    // 创建AVFrame

    frame = av_frame_alloc();

    if (!frame) {

        qDebug() << "av_frame_alloc error";

        goto end;

    }

    frame->width = ctx->width;

    frame->height = ctx->height;

    frame->format = ctx->pix_fmt;

    frame->pts = 0;

    // 创建输入缓冲区 方法一

    ret = av_image_alloc(frame->data,frame->linesize,in.width,in.height,in.format,1);

    // 创建输入缓冲区 方法二

//    buf = (uint8_t *)av_malloc(imgSize);

//    ret = av_image_fill_arrays(frame->data,frame->linesize,

//                               buf,

//                               in.format,in.width,in.height,1);

    // 利用width、height、format创建缓冲区 方法三

//    ret = av_frame_get_buffer(frame, 0);

    if (ret < 0) {

        ERROR_BUF(ret);

        qDebug() << "av_frame_get_buffer error" << errbuf;

        goto end;

    }

//    qDebug() << buf <<frame->data[0];

    // 打印 frame->data：

    qDebug() << frame->data[0] << frame->data[1] << frame->data[2];

    // 创建AVPacket

    pkt = av_packet_alloc();

    if (!pkt) {

        qDebug() << "av_packet_alloc error";

        goto end;

    }

    // 打开文件

    if (!inFile.open(QFile::ReadOnly)) {

        qDebug() << "file open error" << in.filename;

        goto end;

    }

    if (!outFile.open(QFile::WriteOnly)) {

        qDebug() << "file open error" << outFilename;

        goto end;

    }

    // frame->linesize[0]是缓冲区的大小

    // 读取文件数据

    while ((ret = inFile.read((char *) frame->data[0],

                              imgSize)) > 0) {

        // 编码

        if (encode(ctx, frame, pkt, outFile) < 0) {

            goto end;

        }

        //设置帧的序号

        frame->pts++;

    }

    // flush编码器

    encode(ctx, nullptr, pkt, outFile);

end:

    // 关闭文件

    inFile.close();

    outFile.close();

//    av_freep(&buf);

    // 释放资源

    if(frame){

        av_freep(&frame->data[0]);

        //av_freep相当于执行下面两行代码

//        av_free(frame->data[0]);

//        frame->data[0] = nullptr;

        av_frame_free(&frame);

    }

    av_packet_free(&pkt);

    avcodec_free_context(&ctx);

}

videothread.cpp

#ifdef Q_OS_WIN

    // PCM文件的文件名

    #define IN_FILENAME "../test/out_640x480.yuv"

    #define OUT_FILENAME "../test/out_640x480.h264"

#else

    #define IN_FILENAME "/Users/zuojie/QtProjects/audio-video-dev/test/out_640x480.yuv"

    #define OUT_FILENAME "/Users/zuojie/QtProjects/audio-video-dev/test/out_640x480.h264"

#endif

void VideoThread::run(){

    VideoEncodeSpec in;

    in.filename = IN_FILENAME;

    in.width = 640;

    in.height = 480;

    in.fps = 30;

    in.format = AV_PIX_FMT_YUV420P;

    FFmpegUtils::h264Encode(in,OUT_FILENAME);

}

代码链接