【GStreamer开发】GStreamer播放教程06——可视化音频

目标

GStreamer有一系列把音频转换成视频的element。他们可以用于科学的目的或者增加音乐播放器的趣味性。本教程展示：

如何允许音频的可视化

如何选择可视化element

介绍

在playbin2里面运行音频可视化是非常容易的。当遇到一个只有音频的流时，只需要正确地设置playbin2的一些标志就行了。它会自己创建必要的element然后显示的。

如果你想要增加实际的element的趣味性，你要自己实例化它然后通过vis-plug属性来告诉playbin2。

本教程GStreamer注册的所有关于可视化的element，选择了goom并传给了playbin2

一个有趣的音乐播放器

[objc] view
plain copy

1. <span style="font-size:14px;">#include <gst/gst.h>
2. /* playbin2 flags */
3. typedef enum {
4. << 3) /* Enable rendering of visualizations when there is no video stream. */
5. } GstPlayFlags;
6. /* Return TRUE if this is a Visualization element */
7. static gboolean filter_vis_features (GstPluginFeature *feature, gpointer data) {
8. GstElementFactory *factory;
9. if (!GST_IS_ELEMENT_FACTORY (feature))
10. return FALSE;
11. factory = GST_ELEMENT_FACTORY (feature);
12. if (!g_strrstr (gst_element_factory_get_klass (factory), "Visualization"))
13. return FALSE;
14. return TRUE;
15. }
16. int main(int argc, charchar *argv[]) {
17. GstElement *pipeline, *vis_plugin;
18. GstBus *bus;
19. GstMessage *msg;
20. GList *list, *walk;
21. GstElementFactory *selected_factory = NULL;
22. guint flags;
23. /* Initialize GStreamer */
24. gst_init (&argc, &argv);
25. /* Get a list of all visualization plugins */
26. list = gst_registry_feature_filter (gst_registry_get_default (), filter_vis_features, FALSE, NULL);
27. /* Print their names */
28. g_print("Available visualization plugins:\n");
29. for (walk = list; walk != NULL; walk = g_list_next (walk)) {
30. const gchar *name;
31. GstElementFactory *factory;
32. factory = GST_ELEMENT_FACTORY (walk->data);
33. name = gst_element_factory_get_longname (factory);
34. g_print("  %s\n", name);
35. if (selected_factory == NULL || g_str_has_prefix (name, "GOOM")) {
36. selected_factory = factory;
37. }
38. }
39. /* Don't use the factory if it's still empty */
40. /* e.g. no visualization plugins found */
41. if (!selected_factory) {
42. g_print ("No visualization plugins found!\n");
43. ;
44. }
45. /* We have now selected a factory for the visualization element */
46. g_print ("Selected '%s'\n", gst_element_factory_get_longname (selected_factory));
47. vis_plugin = gst_element_factory_create (selected_factory, NULL);
48. if (!vis_plugin)
49. ;
50. /* Build the pipeline */
51. pipeline = gst_parse_launch ("playbin2 uri=http://radio.hbr1.com:19800/ambient.ogg", NULL);
52. /* Set the visualization flag */
53. g_object_get (pipeline, "flags", &flags, NULL);
54. flags |= GST_PLAY_FLAG_VIS;
55. g_object_set (pipeline, "flags", flags, NULL);
56. /* set vis plugin for playbin2 */
57. g_object_set (pipeline, "vis-plugin", vis_plugin, NULL);
58. /* Start playing */
59. gst_element_set_state (pipeline, GST_STATE_PLAYING);
60. /* Wait until error or EOS */
61. bus = gst_element_get_bus (pipeline);
62. msg = gst_bus_timed_pop_filtered (bus, GST_CLOCK_TIME_NONE, GST_MESSAGE_ERROR | GST_MESSAGE_EOS);
63. /* Free resources */
64. if (msg != NULL)
65. gst_message_unref (msg);
66. gst_plugin_feature_list_free (list);
67. gst_object_unref (bus);
68. gst_element_set_state (pipeline, GST_STATE_NULL);
69. gst_object_unref (pipeline);
70. ;
71. }
72. </span>

工作流程

首先，我们都知道通过设置GST_PLAY_FLAG_VIS标志可以让playbin2的音频可视化。如果媒体文件里面已经包含了视频，那么这个标志就不起作用。

[objc] view
plain copy

1. /* Set the visualization flag */
2. g_object_get (pipeline, "flags", &flags, NULL);
3. flags |= GST_PLAY_FLAG_VIS;
4. g_object_set (pipeline, "flags", flags, NULL);

如果用户没有指定可视化插件，playbin2会使用goom来做（如果没有这个element就不能进行音频可视化）。本教程剩下的部分会显示如何来发现一个可用的可视化element并指定playbin2使用。

[objc] view
plain copy

1. /* Get a list of all visualization plugins */
2. list = gst_registry_feature_filter (gst_registry_get_default (), filter_vis_features, FALSE, NULL);

gst_registry_feature_filter()检查GStreamer当前所有注册的element并选择那些filter_vis_features函数返回TRUE的element。

[objc] view
plain copy

1. /* Return TRUE if this is a Visualization element */
2. static gboolean filter_vis_features (GstPluginFeature *feature, gpointer data) {
3. GstElementFactory *factory;
4. if (!GST_IS_ELEMENT_FACTORY (feature))
5. return FALSE;
6. factory = GST_ELEMENT_FACTORY (feature);
7. if (!g_strrstr (gst_element_factory_get_klass (factory), "Visualization"))
8. return FALSE;
9. return TRUE;
10. }

这里牵涉到一点关于GStreamer element的理论：每一个GStreamer在运行时加载的文件都被认为是插件。一个插件可以有多个功能，不同种类的功能。

这个函数简单的丢弃了所有不能批量复现的功能以及不包含“可视化”这个功能的插件。

[objc] view
plain copy

1. /* Print their names */
2. g_print("Available visualization plugins:\n");
3. for (walk = list; walk != NULL; walk = g_list_next (walk)) {
4. const gchar *name;
5. GstElementFactory *factory;
6. factory = GST_ELEMENT_FACTORY (walk->data);
7. name = gst_element_factory_get_longname (factory);
8. g_print("  %s\n", name);
9. if (selected_factory == NULL || g_str_has_prefix (name, "GOOM")) {
10. selected_factory = factory;
11. }
12. }

一旦我们有了可视化插件的列表，我们会打印出它们的名字（gst_element_factory_get_longname()）并选择一个（比如：GOOM）。

[objc] view
plain copy

1. /* We have now selected a factory for the visualization element */
2. g_print ("Selected '%s'\n", gst_element_factory_get_longname (selected_factory));
3. vis_plugin = gst_element_factory_create (selected_factory, NULL);
4. if (!vis_plugin)
5. ;

选中的工厂用来生成一个GstElement，通过vis-plugin属性来传给playbin2。

[objc] view
plain copy

1. /* set vis plugin for playbin2 */
2. g_object_set (pipeline, "vis-plugin", vis_plugin, NULL);

Bingo，就这么简单。