GStreamer开发笔记（一）：GStreamer介绍，在windows平台部署安装，打开usb摄像头对比测试

前言

  当前GStreamer是开源的多媒体框架，其适配后可以支持板卡的硬编码、硬解码，还提供RTSP服务器等功能，降低了音视频开发的门槛（转移到gstreamer配置和开发上了，但是跨平台），瑞芯微RK系列是支持已经适配了GStreamer框架。
  本篇介绍windows平台的GStreamer部署安装，然后测试摄像头，进行性能延迟对比。

 

GStreamer

简介

  GStreamer是一个用于构建媒体处理组件图的库。它支持的应用范围从简单的Ogg/Vorbis播放、音频/视频流到复杂的音频（混合）和视频（非线性编辑）处理。
  应用程序可以透明地利用编解码器和滤波器技术的进步。开发人员可以通过编写一个具有干净、通用接口的简单插件来添加新的编解码器和过滤器。
  GStreamer是在LGPL下发布的。1.x系列是API和ABI稳定的，取代了以前稳定的0.10系列。两者都可以并行安装。

特点

跨平台

  GStreamer适用于所有主要操作系统，如Linux、Android、Windows、Max OS X、iOS，以及大多数BSD、商业Unixes、Solaris和Symbian。它已被移植到各种操作系统、处理器和编译器上。它在所有主要的硬件架构上运行，包括x86、ARM、MIPS、SPARC和PowerPC，在32位和64位以及小端或大端上运行。
  GStreamer可以桥接到其他多媒体框架，以便重用现有组件（如编解码器）并使用平台输入/输出机制：

• Linux/Unix: OpenMAX-IL (via gst-omx)
• Windows: DirectShow
• Mac OS X: QuickTime

综合核心库

• 基于图的结构允许任意管道构建
• 基于GLib 2.0对象模型的面向对象设计与继承
• 小于500KB的紧凑型核心库，约65K行代码
• 多线程管道构造简单透明
• 为插件和应用程序开发人员提供干净、简单、稳定的API
• 极其轻量级的数据传递意味着非常高的性能/低延迟
• 为核心和插件/应用程序开发人员提供完整的调试系统
• 时钟以确保全局流间同步（a/v同步）
• 服务质量（qos），以确保在高CPU负载下达到最佳质量

智能插件架构

• 动态加载的插件提供元素和媒体类型，通过注册表缓存按需加载，类似于ld.so.cache
• 元素接口处理所有已知类型的源、过滤器和接收器
• 能力系统允许使用MIME类型和媒体特定属性验证元素兼容性
• 自动插拔使用功能系统自动完成复杂的路径
• 通过将管道转储到.dot文件并从中创建PNG图像，可以可视化管道
• 资源友好的插件不会浪费内存

多媒体技术覆盖面广

  GStreamers的功能可以通过新的插件进行扩展。下面列出的功能只是使用GStreamers自己的插件提供的粗略概述，不包括任何第三方产品。

• 容器格式：asf、avi、3gp/mp4/mov、flv、mpeg ps/ts、mkv/webm、mxf、ogg
• 流媒体：http、mms、rtsp
• 编解码器：FFmpeg、各种编解码器库、第三方编解码器包
• 元数据：具有通用映射的本机容器格式
• 视频：各种颜色空间，支持逐行扫描和隔行扫描视频
• 音频：各种比特深度和多通道配置的整数和浮点音频

广泛的开发工具

• gst-launch命令行工具，用于快速原型制作和测试，类似于ecasound
• 大量文档，包括部分完成的手册和插件编写者指南
• 每个模块中都有大量测试程序和示例代码可供选择
• 使用各种编程语言访问GStreamer API

注意

  GStreamer是一个非常强大和通用的框架，用于创建流媒体应用程序。
  GStreamer框架的许多优点来自其模块化：GStreamer可以无缝地整合新的插件模块。但由于模块化和强大的功能往往以更高的复杂性为代价，因此编写新的应用程序并不总是那么容易。

 

Windows安装过程

步骤一：下载

  下载连接中的windows版本，下载解：
  

步骤二：安装devel开发环境

  双击启动安装过程
  

  

  全部安装：
  

  

  

  装完之后就这样了：
  

  这种属于完全安装包的形式，没有修改系统环境变量和其他的，所以直接移出来，挪到外面去：
  

  这是开发版本的依赖库，无法直接运行，里面包含了必要的include和lib还有dll，想运行需要安装runtime版本。

步骤三：安装runtime运行环境

  注意：推荐都安装在同一个目录，C:\gstreamer，因为这边方便对比，对比完还是安装到同一个目录了。
  

  这个方式类似ffmpeg，dev和runtime是分开的，继续装这个装完后看它的include，lib就知道了：
  

  

  而dev的inc：
  

  

步骤四：运行gstreamer测试

  注意：这里不修改环境变量，所以在gstreamer目录下的cmd完成。
  命令行打开播放文件

gst-launch-1.0.exe playbin uri=file:///<你的视频>

  

  命令行打开usb摄像头

gst-launch-1.0.exe -v ksvideosrc do-stats=TRUE ! videoconvert ! autovideosink

  

步骤五：对比打开延迟

  

  下面使用windows相机来测试延迟：
  

步骤六：对比内存

  
  初步可以得出gstreamer框架优于windows相机，看状态gstreamer没有使用到GPU。