ONVIF网络摄像头(IPC)客户端开发—RTSP RTCP RTP加载AAC音频流

前言：

RTSP,RTCP,RTP一般是一起使用，在FFmpeg和live555这些库中，它们为了更好的适用性，所以实现起来非常复杂，直接查看FFmpeg和Live555源代码来熟悉这些协议非常吃力，这里将它们独立出来实现，以便更好的理解协议。本文主要介绍RTSP,RTCP,RTP加载AAC音频流。

说明：

(1)大华IPC摄像头作为服务端

(2)在ubuntu16.04中编译实现测试程序

(3)服务端IP: 192.168.0.120

(4)客户端IP: 192.168.0.128

协议介绍：

用一句简单的话总结：RTSP发起/终结流媒体、RTP传输流媒体数据、RTCP对RTP进行控制，同步。RTSP属于四层网络当中的应用层，RTP,RTCP属于传输层。RTSP和RTCP协议在之前博客中已经介绍过，这里不再重复。可以参考博客：

《ONVIF网络摄像头(IPC)客户端开发—最简RTSP客户端实现》

《ONVIF网络摄像头(IPC)客户端开发—RTSP RTCP RTP加载H264视频流》

RTP加载音频流与RTP加载视频流有些不一样，加载视频流一般使用单一NAL单元模式和分片封包模式，加载音频使用的是组合封包模式(Aggregation Packet)。组合封包模式开始是12字节的RTP头信息，接着的是组合封包头长度(2)字节和组合封包头(2字节)，最后面是音频流数据，示意图如下：

AAC格式

在RTP流中传输的AAC音频流是不带有ADTS(Audio Data Transport Stream)信息的，所以客户端在接收到AAC数据流的时候需要自己手动添加上ADTS信息才能被正常的播放。ADTS格式如下：

上图来源于网络，AAC ES就是RTP接收到的AAC音频数据，其他参数值基本上都是固定的，需要填充的是采样频率，通道数和长度(注意：该长度=ADTS+AAC ES)。采样率定义如下：

There are 13 supported frequencies:

0: 96000 Hz

1: 88200 Hz

2: 64000 Hz

3: 48000 Hz

4: 44100 Hz

5: 32000 Hz

6: 24000 Hz

7: 22050 Hz

8: 16000 Hz

9: 12000 Hz

10: 11025 Hz

11: 8000 Hz

12: 7350 Hz

13: Reserved

14: Reserved

15: frequency is written explictly

声道定义如下：

0: Defined in AOT Specifc Config

1: 1 channel: front-center

2: 2 channels: front-left, front-right

3: 3 channels: front-center, front-left, front-right

4: 4 channels: front-center, front-left, front-right, back-center

5: 5 channels: front-center, front-left, front-right, back-left, back-right

6: 6 channels: front-center, front-left, front-right, back-left, back-right, LFE-channel

7: 8 channels: front-center, front-left, front-right, side-left, side-right, back-left, back-right, LFE-channel

8-15: Reserved

启动音频流：

RTSP客户端发送DESCRIBE，服务端会回复一个SDP，SDP里面有描述了音频流和视频流信息:

v=0

o=- 2229913047 2229913047 IN IP4 0.0.0.0

s=Media Server

c=IN IP4 0.0.0.0

t=0 0

a=control:*

a=packetization-supported:DH

a=rtppayload-supported:DH

a=range:npt=now-

m=video 0 RTP/AVP 96

a=control:trackID=0

a=framerate:15.000000

a=rtpmap:96 H264/90000

a=fmtp:96 packetization-mode=1;profile-level-id=64002A;sprop-parameter-sets=Z2QAKqwsaoHgCJ+WbgICAgQA,aO48sAA=

a=recvonly

m=audio 0 RTP/AVP 97

a=control:trackID=1

a=rtpmap:97 MPEG4-GENERIC/16000

a=fmtp:97 streamtype=5;profile-level-id=1;mode=AAC-hbr;sizelength=13;indexlength=3;indexdeltalength=3;config=1408

a=recvonly

m=application 0 RTP/AVP 107

a=control:trackID=4

a=rtpmap:107 vnd.onvif.metadata/90000

a=recvonly

从上面可以看到trackID=0 是一个h264视频流，trackID=1是一路AAC音频流，并且可以看到音频流采样率为16000,profile=1，sizelength=13;等等。

为了测试音频流，这里直接写成固定的，在启动的时候直接启动trackID=1音频流：

SETUP rtsp://192.168.0.120:554/cam/realmonitor?channel=1&subtype=0&unicast=true&proto=Onvif/trackID=1 RTSP/1.0

CSeq: 4

Authorization: Digest username="admin", realm="Login to F8990C5E0599500D",nonce="780e768a-7f13-4f66-a08c-99d76e99e518",uri="rtsp://192.168.0.120:554/cam/realmonitor?channel=1&subtype=0&unicast=true&proto=Onvif",response="920e21b61578599683bff9129352a6c7"

User-Agent: Caibiao_Lee

Transport:RTP/AVP;unicast;client_port=55182-55183

代码实现：

这里贴出RTP数据包解析和ADTS头添加的测试函数：

/********************************************************

Function: RTP_Client_UnPackAACAndStore

Description: 根据RTP协议解析网络接收到的AAC数据包,并且为AAC数据

    添加ADTS头信息，最后将数据写入到文件中去。

Input:

    *pu8Addr：RTP接收数据的地址

    s32Len  ：RTP接收数据的长度

OutPut:none

Return: 0 成功；非0 失败

Others:

    注意ADTS头长度的填充，这个长度包括了它自己本身

Author: Caibiao Lee

Date:	2019-10-05

*********************************************************/

static int RTP_Client_UnPackAACAndStore(unsigned char *pu8Addr,int s32Len)

{

    RTP_HEADER_S *l_pstRTPHeader = NULL;

    RTP_PACKET_S   l_stRTPPack = {0};

    RTP_PACKET_S *l_pstRTPPack   = &l_stRTPPack;

    unsigned short l_u16HeadrLen = 0;

    unsigned short l_u16Header = 0;

    unsigned short l_u16WriteLen = 0;

    if((NULL==pu8Addr)||(s32Len<=0))

    {

        printf("input para error \n",__FUNCTION__,__LINE__);

        return -1;

    }

    l_pstRTPHeader = (RTP_HEADER_S*)pu8Addr;

    /**RTP 信息提取**/

    l_pstRTPPack->u8Version     = l_pstRTPHeader->bit1Version;

	l_pstRTPPack->u8Padding     = l_pstRTPHeader->bit1Padding;

	l_pstRTPPack->u8Extension   = l_pstRTPHeader->bit1Extension;

	l_pstRTPPack->u8Cc          = l_pstRTPHeader->bit4CsrcLen;

	l_pstRTPPack->u8Marker      = l_pstRTPHeader->bit1Marker;

	l_pstRTPPack->u8Pt          = l_pstRTPHeader->bit7PayLoadType;

	/**RTP 序列号**/

    l_pstRTPPack->u32SeqNum = 0;

    l_pstRTPPack->u32SeqNum = (pu8Addr[2] & 0xff);

    l_pstRTPPack->u32SeqNum <<= 8;

    l_pstRTPPack->u32SeqNum |= (pu8Addr[3] & 0xff);

	/**RTP 时间戳**/

    l_pstRTPPack->u32TimeStamp = (pu8Addr[4] & 0xff);

    l_pstRTPPack->u32TimeStamp <<= 8;

    l_pstRTPPack->u32TimeStamp |= (pu8Addr[5] & 0xff);

    l_pstRTPPack->u32TimeStamp <<= 8;

    l_pstRTPPack->u32TimeStamp |= (pu8Addr[6] & 0xff);

    l_pstRTPPack->u32TimeStamp <<= 8;

    l_pstRTPPack->u32TimeStamp |= (pu8Addr[7] & 0xff);

	/**RTP 同步源ID**/

    l_pstRTPPack->u32Ssrc = (pu8Addr[8] & 0xff);

    l_pstRTPPack->u32Ssrc <<= 8;

    l_pstRTPPack->u32Ssrc |= (pu8Addr[9] & 0xff);

    l_pstRTPPack->u32Ssrc <<= 8;

    l_pstRTPPack->u32Ssrc |= (pu8Addr[10] & 0xff);

    l_pstRTPPack->u32Ssrc <<= 8;

    l_pstRTPPack->u32Ssrc |= (pu8Addr[11] & 0xff);

#if 0

    printf("\n\n");

    printf("u8Version     :%d \n",l_pstRTPPack->u8Version);

    printf("u8Padding     :%d \n",l_pstRTPPack->u8Padding);

    printf("u8Extension   :%d \n",l_pstRTPPack->u8Extension);

    printf("u8Cc          :%d \n",l_pstRTPPack->u8Cc);

    printf("u8Marker      :%d \n",l_pstRTPPack->u8Marker);

    printf("u8Pt          :%d \n",l_pstRTPPack->u8Pt);

    printf("u32SeqNum     :%d \n",l_pstRTPPack->u32SeqNum);

    printf("u32TimeStamp  :%d \n",l_pstRTPPack->u32TimeStamp);

    printf("u32Ssrc       :%u \n",l_pstRTPPack->u32Ssrc);

    printf("pu32Paylen    :%d \n",l_pstRTPPack->u32Paylen);

#endif

    l_u16HeadrLen = pu8Addr[12];

    l_u16HeadrLen <<=8;

    l_u16HeadrLen = pu8Addr[13];

    l_u16Header = pu8Addr[14];

    l_u16Header <<=8;

    l_u16Header = pu8Addr[15];

    /**ADTS**/

    if(g_WriteFd>0)

    {

        /**for debug**/

        unsigned char ADTS[] = {0xFF, 0xF1, 0x00, 0x00, 0x00, 0x00, 0xFC};

        int audioSamprate = 16000;/**音频采样率**/

        int audioChannel = 2;     /**音频声道 1或2**/

        int audioBit = 16;        /**16位 固定**/

        switch(audioSamprate)     /**bit2~bit6 表示帧率**/

        {

            case 8000:   /**11**/

                ADTS[2] = 0x2c;

                break;

            case  16000: /**8**/

                ADTS[2] = 0x60;

                break;

            case  32000: /**5**/

                ADTS[2] = 0x54;

                break;

            case  44100: /**4**/

                ADTS[2] = 0x50;

                break;

            case  48000: /**3**/

                ADTS[2] = 0x4C;

                break;

            case  96000: /**0**/

                ADTS[2] = 0x40;

                break;

            default:

                break;

        }

        ADTS[3] = (audioChannel==2)?0x80:0x40;/**bit **/

        l_u16WriteLen = s32Len - 16 + 7;

        l_u16WriteLen <<= 5;     /**8bit * 2 - 11 = 5(headerSize 11bit)**/

        l_u16WriteLen |= 0x1F;   /**5 bit    1**/

        ADTS[4] = l_u16WriteLen>>8;

        ADTS[5] = l_u16WriteLen & 0xFF;

        fwrite(ADTS,1,7,g_WriteFd);

        l_u16WriteLen = s32Len - 16;

        fwrite(&pu8Addr[16],1,l_u16WriteLen,g_WriteFd);

    }

    return 0;

}

参考博客：

《AAC的ADTS头文件信息介绍》

《多媒体封装格式详解--- AAC ADTS格式分析》

工程下载：

在 liwen01 公众号中回复 网络编程 获取工程代码，本章代码工程名为：RtspRtcpRtpLoad_AAC.tar.gz

---------------------------End---------------------------
长按识别二维码
关注 liwen01 公众号