视音频数据处理入门：FLV封装格式解析

=====================================================

视音频数据处理入门系列文章：

视音频数据处理入门：RGB、YUV像素数据处理

视音频数据处理入门：PCM音频采样数据处理

视音频数据处理入门：H.264视频码流解析

视音频数据处理入门：AAC音频码流解析

视音频数据处理入门：FLV封装格式解析

视音频数据处理入门：UDP-RTP协议解析

=====================================================

前两篇文章介绍了音频码流处理程序和视频码流处理程序，本文介绍将他们打包到一起后的数据——封装格式数据的处理程序。封装格式数据在视频播放器中的位置如下所示。

本文中的程序是一个FLV封装格式解析程序。该程序可以从FLV中分析得到它的基本单元Tag，并且可以简单解析Tag首部的字段。通过修改该程序可以实现不同的FLV格式数据处理功能。

原理

FLV封装格式是由一个FLV Header文件头和一个一个的Tag组成的。Tag中包含了音频数据以及视频数据。FLV的结构如下图所示。

有关FLV的格式本文不再做记录。可以参考文章《视音频编解码学习工程：FLV封装格式分析器》。本文的程序实现了FLV中的FLV Header和Tag的解析，并可以分离出其中的音频流。

代码

整个程序位于simplest_flv_parser()函数中，如下所示。

1. /**
2. * 最简单的视音频数据处理示例
3. * Simplest MediaData Test
4. *
5. * 雷霄骅 Lei Xiaohua
6. * leixiaohua1020@126.com
7. * 中国传媒大学/数字电视技术
8. * Communication University of China / Digital TV Technology
9. * http://blog.csdn.net/leixiaohua1020
10. *
11. * 本项目包含如下几种视音频测试示例：
12. *  (1)像素数据处理程序。包含RGB和YUV像素格式处理的函数。
13. *  (2)音频采样数据处理程序。包含PCM音频采样格式处理的函数。
14. *  (3)H.264码流分析程序。可以分离并解析NALU。
15. *  (4)AAC码流分析程序。可以分离并解析ADTS帧。
16. *  (5)FLV封装格式分析程序。可以将FLV中的MP3音频码流分离出来。
17. *  (6)UDP-RTP协议分析程序。可以将分析UDP/RTP/MPEG-TS数据包。
18. *
19. * This project contains following samples to handling multimedia data:
20. *  (1) Video pixel data handling program. It contains several examples to handle RGB and YUV data.
21. *  (2) Audio sample data handling program. It contains several examples to handle PCM data.
22. *  (3) H.264 stream analysis program. It can parse H.264 bitstream and analysis NALU of stream.
23. *  (4) AAC stream analysis program. It can parse AAC bitstream and analysis ADTS frame of stream.
24. *  (5) FLV format analysis program. It can analysis FLV file and extract MP3 audio stream.
25. *  (6) UDP-RTP protocol analysis program. It can analysis UDP/RTP/MPEG-TS Packet.
26. *
27. */
28. #include <stdio.h>
29. #include <stdlib.h>
30. #include <string.h>
31. //Important!
32. #pragma pack(1)
33. #define TAG_TYPE_SCRIPT 18
34. #define TAG_TYPE_AUDIO  8
35. #define TAG_TYPE_VIDEO  9
36. typedef unsigned char byte;
37. typedef unsigned int uint;
38. typedef struct {
39. byte Signature[3];
40. byte Version;
41. byte Flags;
42. uint DataOffset;
43. } FLV_HEADER;
44. typedef struct {
45. byte TagType;
46. byte DataSize[3];
47. byte Timestamp[3];
48. uint Reserved;
49. } TAG_HEADER;
50. //reverse_bytes - turn a BigEndian byte array into a LittleEndian integer
51. uint reverse_bytes(byte *p, char c) {
52. int r = 0;
53. int i;
54. for (i=0; i<c; i++)
55. r |= ( *(p+i) << (((c-1)*8)-8*i));
56. return r;
57. }
58. /**
59. * Analysis FLV file
60. * @param url    Location of input FLV file.
61. */
62. int simplest_flv_parser(char *url){
63. //whether output audio/video stream
64. int output_a=1;
65. int output_v=1;
66. //-------------
67. FILE *ifh=NULL,*vfh=NULL, *afh = NULL;
68. //FILE *myout=fopen("output_log.txt","wb+");
69. FILE *myout=stdout;
70. FLV_HEADER flv;
71. TAG_HEADER tagheader;
72. uint previoustagsize, previoustagsize_z=0;
73. uint ts=0, ts_new=0;
74. ifh = fopen(url, "rb+");
75. if ( ifh== NULL) {
76. printf("Failed to open files!");
77. return -1;
78. }
79. //FLV file header
80. fread((char *)&flv,1,sizeof(FLV_HEADER),ifh);
81. fprintf(myout,"============== FLV Header ==============\n");
82. fprintf(myout,"Signature:  0x %c %c %c\n",flv.Signature[0],flv.Signature[1],flv.Signature[2]);
83. fprintf(myout,"Version:    0x %X\n",flv.Version);
84. fprintf(myout,"Flags  :    0x %X\n",flv.Flags);
85. fprintf(myout,"HeaderSize: 0x %X\n",reverse_bytes((byte *)&flv.DataOffset, sizeof(flv.DataOffset)));
86. fprintf(myout,"========================================\n");
87. //move the file pointer to the end of the header
88. fseek(ifh, reverse_bytes((byte *)&flv.DataOffset, sizeof(flv.DataOffset)), SEEK_SET);
89. //process each tag
90. do {
91. previoustagsize = _getw(ifh);
92. fread((void *)&tagheader,sizeof(TAG_HEADER),1,ifh);
93. //int temp_datasize1=reverse_bytes((byte *)&tagheader.DataSize, sizeof(tagheader.DataSize));
94. int tagheader_datasize=tagheader.DataSize[0]*65536+tagheader.DataSize[1]*256+tagheader.DataSize[2];
95. int tagheader_timestamp=tagheader.Timestamp[0]*65536+tagheader.Timestamp[1]*256+tagheader.Timestamp[2];
96. char tagtype_str[10];
97. switch(tagheader.TagType){
98. case TAG_TYPE_AUDIO:sprintf(tagtype_str,"AUDIO");break;
99. case TAG_TYPE_VIDEO:sprintf(tagtype_str,"VIDEO");break;
100. case TAG_TYPE_SCRIPT:sprintf(tagtype_str,"SCRIPT");break;
101. default:sprintf(tagtype_str,"UNKNOWN");break;
102. }
103. fprintf(myout,"[%6s] %6d %6d |",tagtype_str,tagheader_datasize,tagheader_timestamp);
104. //if we are not past the end of file, process the tag
105. if (feof(ifh)) {
106. break;
107. }
108. //process tag by type
109. switch (tagheader.TagType) {
110. case TAG_TYPE_AUDIO:{
111. char audiotag_str[100]={0};
112. strcat(audiotag_str,"| ");
113. char tagdata_first_byte;
114. tagdata_first_byte=fgetc(ifh);
115. int x=tagdata_first_byte&0xF0;
116. x=x>>4;
117. switch (x)
118. {
119. case 0:strcat(audiotag_str,"Linear PCM, platform endian");break;
120. case 1:strcat(audiotag_str,"ADPCM");break;
121. case 2:strcat(audiotag_str,"MP3");break;
122. case 3:strcat(audiotag_str,"Linear PCM, little endian");break;
123. case 4:strcat(audiotag_str,"Nellymoser 16-kHz mono");break;
124. case 5:strcat(audiotag_str,"Nellymoser 8-kHz mono");break;
125. case 6:strcat(audiotag_str,"Nellymoser");break;
126. case 7:strcat(audiotag_str,"G.711 A-law logarithmic PCM");break;
127. case 8:strcat(audiotag_str,"G.711 mu-law logarithmic PCM");break;
128. case 9:strcat(audiotag_str,"reserved");break;
129. case 10:strcat(audiotag_str,"AAC");break;
130. case 11:strcat(audiotag_str,"Speex");break;
131. case 14:strcat(audiotag_str,"MP3 8-Khz");break;
132. case 15:strcat(audiotag_str,"Device-specific sound");break;
133. default:strcat(audiotag_str,"UNKNOWN");break;
134. }
135. strcat(audiotag_str,"| ");
136. x=tagdata_first_byte&0x0C;
137. x=x>>2;
138. switch (x)
139. {
140. case 0:strcat(audiotag_str,"5.5-kHz");break;
141. case 1:strcat(audiotag_str,"1-kHz");break;
142. case 2:strcat(audiotag_str,"22-kHz");break;
143. case 3:strcat(audiotag_str,"44-kHz");break;
144. default:strcat(audiotag_str,"UNKNOWN");break;
145. }
146. strcat(audiotag_str,"| ");
147. x=tagdata_first_byte&0x02;
148. x=x>>1;
149. switch (x)
150. {
151. case 0:strcat(audiotag_str,"8Bit");break;
152. case 1:strcat(audiotag_str,"16Bit");break;
153. default:strcat(audiotag_str,"UNKNOWN");break;
154. }
155. strcat(audiotag_str,"| ");
156. x=tagdata_first_byte&0x01;
157. switch (x)
158. {
159. case 0:strcat(audiotag_str,"Mono");break;
160. case 1:strcat(audiotag_str,"Stereo");break;
161. default:strcat(audiotag_str,"UNKNOWN");break;
162. }
163. fprintf(myout,"%s",audiotag_str);
164. //if the output file hasn't been opened, open it.
165. if(output_a!=0&&afh == NULL){
166. afh = fopen("output.mp3", "wb");
167. }
168. //TagData - First Byte Data
169. int data_size=reverse_bytes((byte *)&tagheader.DataSize, sizeof(tagheader.DataSize))-1;
170. if(output_a!=0){
171. //TagData+1
172. for (int i=0; i<data_size; i++)
173. fputc(fgetc(ifh),afh);
174. }else{
175. for (int i=0; i<data_size; i++)
176. fgetc(ifh);
177. }
178. break;
179. }
180. case TAG_TYPE_VIDEO:{
181. char videotag_str[100]={0};
182. strcat(videotag_str,"| ");
183. char tagdata_first_byte;
184. tagdata_first_byte=fgetc(ifh);
185. int x=tagdata_first_byte&0xF0;
186. x=x>>4;
187. switch (x)
188. {
189. case 1:strcat(videotag_str,"key frame  ");break;
190. case 2:strcat(videotag_str,"inter frame");break;
191. case 3:strcat(videotag_str,"disposable inter frame");break;
192. case 4:strcat(videotag_str,"generated keyframe");break;
193. case 5:strcat(videotag_str,"video info/command frame");break;
194. default:strcat(videotag_str,"UNKNOWN");break;
195. }
196. strcat(videotag_str,"| ");
197. x=tagdata_first_byte&0x0F;
198. switch (x)
199. {
200. case 1:strcat(videotag_str,"JPEG (currently unused)");break;
201. case 2:strcat(videotag_str,"Sorenson H.263");break;
202. case 3:strcat(videotag_str,"Screen video");break;
203. case 4:strcat(videotag_str,"On2 VP6");break;
204. case 5:strcat(videotag_str,"On2 VP6 with alpha channel");break;
205. case 6:strcat(videotag_str,"Screen video version 2");break;
206. case 7:strcat(videotag_str,"AVC");break;
207. default:strcat(videotag_str,"UNKNOWN");break;
208. }
209. fprintf(myout,"%s",videotag_str);
210. fseek(ifh, -1, SEEK_CUR);
211. //if the output file hasn't been opened, open it.
212. if (vfh == NULL&&output_v!=0) {
213. //write the flv header (reuse the original file's hdr) and first previoustagsize
214. vfh = fopen("output.flv", "wb");
215. fwrite((char *)&flv,1, sizeof(flv),vfh);
216. fwrite((char *)&previoustagsize_z,1,sizeof(previoustagsize_z),vfh);
217. }
218. #if 0
219. //Change Timestamp
220. //Get Timestamp
221. ts = reverse_bytes((byte *)&tagheader.Timestamp, sizeof(tagheader.Timestamp));
222. ts=ts*2;
223. //Writeback Timestamp
224. ts_new = reverse_bytes((byte *)&ts, sizeof(ts));
225. memcpy(&tagheader.Timestamp, ((char *)&ts_new) + 1, sizeof(tagheader.Timestamp));
226. #endif
227. //TagData + Previous Tag Size
228. int data_size=reverse_bytes((byte *)&tagheader.DataSize, sizeof(tagheader.DataSize))+4;
229. if(output_v!=0){
230. //TagHeader
231. fwrite((char *)&tagheader,1, sizeof(tagheader),vfh);
232. //TagData
233. for (int i=0; i<data_size; i++)
234. fputc(fgetc(ifh),vfh);
235. }else{
236. for (int i=0; i<data_size; i++)
237. fgetc(ifh);
238. }
239. //rewind 4 bytes, because we need to read the previoustagsize again for the loop's sake
240. fseek(ifh, -4, SEEK_CUR);
241. break;
242. }
243. default:
244. //skip the data of this tag
245. fseek(ifh, reverse_bytes((byte *)&tagheader.DataSize, sizeof(tagheader.DataSize)), SEEK_CUR);
246. }
247. fprintf(myout,"\n");
248. } while (!feof(ifh));
249. _fcloseall();
250. return 0;
251. }

上文中的函数调用方法如下所示。

1. simplest_flv_parser("cuc_ieschool.flv");

结果

本程序的输入为一个FLV的文件路径，输出为FLV的统计数据，如下图所示。

此外本程序还可以分离FLV中的视频码流和音频码流。需要注意的是本程序并不能分离一些特定类型的音频（例如AAC）和视频，这一工作有待以后有时间再完成。

下载

Simplest mediadata test

项目主页

SourceForge：https://sourceforge.net/projects/simplest-mediadata-test/

Github：https://github.com/leixiaohua1020/simplest_mediadata_test

开源中国：http://git.oschina.net/leixiaohua1020/simplest_mediadata_test

CSDN下载地址：http://download.csdn.net/detail/leixiaohua1020/9422409

本项目包含如下几种视音频数据解析示例：
 (1)像素数据处理程序。包含RGB和YUV像素格式处理的函数。
 (2)音频采样数据处理程序。包含PCM音频采样格式处理的函数。
 (3)H.264码流分析程序。可以分离并解析NALU。
 (4)AAC码流分析程序。可以分离并解析ADTS帧。
 (5)FLV封装格式分析程序。可以将FLV中的MP3音频码流分离出来。
 (6)UDP-RTP协议分析程序。可以将分析UDP/RTP/MPEG-TS数据包。