RTSP Monitor的总结

项目描述：

一个本地的IP  Camera 实时发送RTSP视频流到本机上，视频的帧是H264编码，需要解码并显示到屏幕上。并把每帧视频对应的时间戳转换成日期年月日时分秒打印到每帧的图像上显示。

使用到的库：

1.用Qt做了GUI，QLabel显示图像画面，每解码得到一帧转换成图像格式再用Qt的信号机制发送信号到QLabel上显示。

2.用Live555 建立本机与IP Camera的RTSP的会话，需要用到sdp文件。sdp文件提供了编码的描述和相关的H264的SPS和PPS（可以去百度，sdp文件中是以Base64编码的字符串序列）。Live555的相关回调函数会把每帧传递出来（frameBuffer和frameSize）  （FFMPEG也提供rtsp流的支持，但是支持不好，它可以直接打开rtsp://129.234.32.123:2324/wesdadawd.sdp这样的URL形式）

3.用FFMPEG的H264解码器去解frameBuffer 包含的帧数据。

关键的知识点：

1.单独一个RTP包可以单独包含一帧，也可以包含很多帧，还有一帧分别打包成多个RTP包，取决于服务端的打包方式。

2.RTP的timestamp是相对的（是个随机的初始值），需要配合RTCP包里面的NTP来相应的计算绝对时间，RTCP包的设计目的是保证RTP包的传输质量的，RTCP包里面有丢包等计数，当RTSP会话建立完成，会建立一个端口对，一个是偶数（RTP包端口），一个奇数（RTCP包端口），这样发送给客户端。当然，可以用WireShark去抓来看看，不过貌似WireShark不能直接识别RTP包，抓出来的UDP，因为RTP包一般来说是基于UDP的包

2.H264的帧是以  NAL单元的单位来传送的，一个NAL单元包含一帧（I帧 或 P帧 或 B帧），这三种类型的帧可以百度。所谓的NAL单元就是去掉SPS、PPS的视频帧， I帧是关键帧，所有的解析都需要靠它，两个I帧之间被称为视频序列，I帧头部需要加入SPS和PPS，这两个之间需要0x00000001来分割， 0x00 0x00 0x00 0x01  + SPS的Base64解码形式 + 0x00 0x00 0x00 0x01 + PPS的解码形式 + 0x00 0x00 0x00 0x01 视频帧（IDR帧）   这样组成的一个buffer，FFMPEG的H264解码器才能成功解码。

大概的关键代码片断就是这样：

     if (!m_ffmpeg->Init())  return;

     m_scheduler = BasicTaskScheduler::createNew();
     m_env = BasicUsageEnvironment::createNew(*m_scheduler);

     m_session = MediaSession::createNew(*m_env, readSDPFile(m_url.toStdString().c_str()));

     if (!m_session)
     {
         qDebug() << "Created session failed from SDP file";
         return ;
     }

     MediaSubsessionIterator iter(*m_session);

     while ((m_subsession = iter.next()) != NULL)
     {
         if (!m_subsession->initiate())
         {
             *m_env << "Failed to initiate the \"" << *m_subsession << "\" subsession: " << m_env->getResultMsg() << "\n";
         }
         else
         {
             m_subsession->sink = DummySink::createNew(*m_env, *m_subsession, m_url.toStdString().c_str());
             if (m_subsession->sink == NULL)
             {
                 *m_env << "Failed to create a data sink for the \"" << *m_subsession << "\" subsession: " << m_env->getResultMsg() << "\n";
             }
             else
             {
                 const char* sps = m_subsession->fmtp_spropsps();
                 const char* pps = m_subsession->fmtp_sproppps();
                 m_subsession->sink->startPlaying(*m_subsession->rtpSource(), NULL, NULL);
             }
         }
     }

     char eventLoopWatchVariable = ;
     m_env->taskScheduler().doEventLoop(&eventLoopWatchVariable);

 ////////////////////frame callback function in Dummy::Sink/////////

 void afterGettingFrame(unsigned frameSize, unsigned numTruncatedBytes,
     struct timeval presentationTime, unsigned durationInMicroseconds)
     {
         if (fStreamId != NULL) envir() << "Stream \"" << fStreamId << "\"; ";
         envir() << fSubsession.mediumName() << "/" << fSubsession.codecName() << ":\tReceived " << frameSize << " bytes";

         QByteArray frameBuffer((char*)fReceiveBuffer, frameSize);

         //插入SPS PPS才能让H264解码器正确解码
         QByteArray sps = sprop_parameter_sets;
         QByteArray extraData;
         QList<QByteArray> recodList = sps.split(',');

         for (int i = ; i < recodList.size(); ++i)
         {
             extraData.append(char(0x00));
             extraData.append(char(0x00));
             extraData.append(char(0x00));
             extraData.append(char(0x01));

             extraData += QByteArray::fromBase64(recodList.at(i));
         }
         QByteArray endMark = QByteArray(, );
         endMark[] = 0x01;

         frameBuffer.insert(, extraData);
         frameBuffer.insert(extraData.size(), endMark);

         gffmpeg->decodeFrame((uint8_t*)frameBuffer.data(), frameBuffer.size(), presentationTime.tv_sec, presentationTime.tv_usec);

         // Then continue, to request the next frame of data:
         continuePlaying();
     }

 ////////////////////////decode frame  function/////////////////////////
 void  QFFmpeg::decodeFrame(uint8_t* frameBuffer, int frameLength, long second, long microSecond)
 {
     if (frameLength <= ) return;

     int frameFinished = ;

     AVPacket framePacket;
     av_init_packet(&framePacket);

     framePacket.size = frameLength;
     framePacket.data = frameBuffer;

     int ret = avcodec_decode_video2(m_pAVCodecContext, m_pAVFrame, &frameFinished, &framePacket);

     if (ret < )
     {
         qDebug() << "Decode error";
         return;
     }

     if (frameFinished)
     {
         m_playMutex.lock();

         m_videoWidth = m_pAVFrame->width;
         m_videoHeight = m_pAVFrame->height;

         QImage frame = QImage(m_videoWidth, m_videoHeight, QImage::Format_ARGB32);
         m_pSwsContext = sws_getCachedContext(m_pSwsContext, m_videoWidth, m_videoHeight, AVPixelFormat::AV_PIX_FMT_YUV420P, m_videoWidth, m_videoHeight,
             AVPixelFormat::AV_PIX_FMT_RGB32, SWS_BICUBIC, NULL, NULL, NULL);

         uint8_t *dstSlice[] = { frame.bits() };
         int dstStride = frame.width() * ;

         sws_scale(m_pSwsContext, m_pAVFrame->data, m_pAVFrame->linesize, , m_videoHeight, dstSlice, &dstStride);

         char timestamp[];
         char  millisecond[];

         time_t time = second;

         struct tm *now_time;

         now_time = gmtime(&time);

         strftime(timestamp, , "%Y-%m-%d %H:%M:%S", now_time);
         sprintf_s(millisecond, , "  %ld.%d%d%d",microSecond/,,,);

         //发送获取一帧图像信号
         QImage image((uchar*)dstSlice[], m_videoWidth, m_videoHeight, QImage::Format_RGB32);

         QPainter pen(&image);
         pen.setPen(Qt::white);
         pen.setFont(QFont("Times", , QFont::Bold));
         pen.drawText(image.rect(), Qt::AlignBottom, QString(timestamp) + QString(millisecond));
         emit GetImage(image);
         m_playMutex.unlock();
     }

 }

##############################Update 2016-5-13###################

前面几乎都废弃了。

现在我直接发现了一个开源的流媒体解决方案平台

http://www.easydarwin.org

里面很多都是对RTSP IP Camera这类的流媒体库，已经封装的很成熟了。

references：

http://blog.csdn.net/sno_guo/article/details/22388233

http://blog.csdn.net/sunnylgz/article/details/7680262

http://stackoverflow.com/questions/11330764/ffmpeg-cant-decode-h264-stream-frame-data/

http://stackoverflow.com/questions/20786781/ffmpeg-decode-raw-buffer-with-avcodec-decode-video2

http://stackoverflow.com/questions/18857737/decoding-h264-frames-from-rtp-stream

http://stackoverflow.com/questions/32475317/how-to-open-the-local-sdp-file-by-live555

http://blog.csdn.net/leixiaohua1020    （强烈推荐这个博客，在上面学到了很多编码的基础知识）

http://www.zhihu.com/question/20278635    （RTSP、RTP，RTCP的区别）

http://www.zhihu.com/question/20997688   （MP4/RMVB/MKV/AVI 等，这些视频格式与编码压缩标准 mpeg4，H.264.H.265 等有什么关系？）

http://www.zhihu.com/question/27460676

http://www.2cto.com/kf/201408/327163.html

http://stackoverflow.com/questions/4873493/how-can-i-convert-number-of-seconds-since-1970-to-datetime-in-c