1.MP4的MKV编码
2.每日开源：一个巨硬的产品级嵌入式流媒体库
3.“OSM”代表什么？
4.GStreamer基础教程（十）

MP4的MKV编码

       è¿™ä¸ªä½ å¯ä»¥å‚考一下百科

        MKV标志mkv不同于DivX、XviD等视频编码格式，也不同于MP3、Ogg等音频编码格式。MKV只是为这些音、视频提供外壳的“组合”和“封装”格式。换句话说就是一种容器格式，常见的 AVl、VOB、MPEG、RM 格式其实也都属于这种类型。但它们要么结构陈旧，要么不够开放，这才促成了MKV这类新型多媒体封装格式的诞生。 Matroska媒体定义了三种类型的文件：MKV是视频文件，它里面可能还包含有音频和字幕；MKA是单一的音频文件，但可能有多条及多种类型的音轨；MKS是字幕文件。这三种文件以MKV最为常见。 MKV最大的特点就是能容纳多种不同类型编码的视频、音频及字幕流，甚至连非常封闭的 RealMedia 及 QuickTime 这类流媒体也被它囊括进去，可以说是对传统媒体格式的一次大颠覆，几乎变成了一个万能的媒体容器。 播放MKV并不需要专用的播放器，任何基于DirectShow的播放器都能播放它，如常见的 Media Player Classic、BSplayer、ZoomPlayer 播放器等，甚至包括Windows Media player，仅需安装相应 Matroska 解码分离器插件即可。推荐下载HappyShow这个解码器集成软件。

       [编辑本段]特点

        Matroska最大的特点就是能容纳多种不同类型编码的视频、音频及字幕流，甚至囊括了RealMedia及QuickTime这类流媒体，可以说是对传统媒体封装格式的一次大颠覆！它现在几乎变成了一个万能的媒体容器，目前它所能封装的视频、音频、字幕类型包括： AVI文件，包括采用DivX、XviD、3ivX、VP6视频编码，及PCM、MP3、AC3等音频编码的AVI RealMedia文件，包括RealVideo和RealAudio QuickTime的MOV及MP4视频 Windows Media文件，包括ASF、WMV格式 MPEG文件，包括MPEG-1/2的M1V、M2V Ogg/OGM 文件，包括Ogg Vorbis、OGM、FLAC文件 Matroska Media文件，包括MKV、MKA、MKS文件 WAV、AC3、DTS、MP2、MP3、AAC/MP4音频 SRT、USF及SSA/ASS文本字幕 SubVob图形字幕，后缀为IDX、SUB BMP图形字幕，以一组BMP图片及时间码构成的字幕 。 此外，Matroska文件中还可包括章节、标签（Tag）等信息，甚至还可加上附件！需要指出的Matroska所谓的封装AVI、RM、MOV等媒体，但它并不是简单将它们不加改变的合并到Matroska中，而是将它们的音视频流进行了重新组织。 Matroska加入AVI所没有的EDC错误检测代码，这意味着即使是没有下载完毕的MKV文件也可以顺利回放，这些对AVI来说完全是不可想象的。虽然Matroska加入了错误检测代码，但由于采用了新的更高效的组织结构，用MKV封装后的电影还是比AVI源文件要小了约1%，这就是说即使加上了多个字幕，MKV文件的体积也不可能比AVI文件大。 Matroska支持可变帧率（VFR，即Variable Frame Rate）的视频编码，这种VFR视频的帧率是不固定的，它可在动态画面中使用较大的帧率，而在静态画面中使用较小的帧率，这样可以有效的减少视频文件的体积，并改善动态画面的质量。它的作用比目前广泛使用的VBR（可变码率）更为明显。 看看目前比较流行的多媒体容器类型，例如AVI，它可以容纳多种类型的视频编码和音频编码，像VP6、DivX、XviD等视频编码和PCM、MP3、AC3等音频编码； VOB则是另一种特点更为鲜明的媒体容器，它可容纳MPEG-2视频流、多个AC3、 DTS、THX、PCM音频流、多个不同语言的图形字幕流。

       [编辑本段]兼容性

        avi的出现已经超过了年，渐渐体现出老态了，除了近年通过VD可以拥有2个音轨，没有其他的改进。 ogm的出现，标志着多音轨格式的出现，可以合成8个以上的音轨，音频上自然也多了ogg这个格式，重要的是可以“内挂”字幕，老外称为“软字幕”，可以任意开关，可以“内挂”8个以上的字幕，美中不足的是仅仅支持srt格式，并且不支持Unicode，对亚洲字符支持严重不足。 还有一个就是Chapter功能，可以自定义段落，播放时就可以选择了。是不是越来越像DVD啦？但是当时的ogm源码是不公开的，就那么几个人在开发，自然进度慢了，前一阵几乎陷入了“死亡”。最近宣布公开源码，加入Open Source行列，重新开始开发。 mkv就是在ogm停滞的那段时间出现的，由俄罗斯的程序员开发的，从一开始就是Open Source，因此得到了很多其他程序员的帮助，开发速度相当快。 ogm有的mkv都有，另外还有很多独特的功能。其中最令人振奋的就是Gabest(开发vobsub的公司)开发的Plugin，不仅开发了专门的播放器Media Player Classic(俗称MPC)， 这个东西的强大相信用过的人都有体会。还开发了很多的MKV用的Mux(合成器)，尤其是Real格式的Mux。 Real的rmvb是封闭格式，官方的Helix根本就不支持多声道所以尽管算法很优秀，但在声效大片的再现上就无能为力了，只能乖乖让位给可以合成AC3和DTS的avi以及ogm了。 但Gabest开发的Realmedia Splitter和mkv Mux可以让rmvb格式的视频和AC3、DTS合成mkv，从根本上克服了rmvb音频上的弱点。不仅如此，还开发了VSFilter.dll和SubtitleSource.ax这2个Plugin，宣布支持ssa和ass的格式软字幕。 总结就是下面几条： 1.支持多种格式的视频和音频，尤其是Real ； 2.支持多音轨，多达条以上 ； 3.支持ssa，ass软字幕，多达条以上 ； 4.支持段落选取(由制作人决定) 。

       [编辑本段]发展前途

        Matroska的目标就是要取代旧式的媒体封装格式，其中最主要的目标就是AVI。 AVI已经诞生十几年了，目前它依然还保持着旺盛的生命力，但其原始架构过于陈旧，这使得它在支持新的音视频编码上非常困难，在非微软平台使用也不够方便。而Matroska使用的是一种开放的架构，拥有众多的先进特性，并且能跨平台使用，这是AVI所望尘莫及的。 不过AVl毕竟树大根深，它拥有最广泛的软硬件支持，而这一点正是衡量MKV是否成功的一个标志，但目前它还做不到这点，现在甚至还没出现一个能直接编辑它的软件，毕竟它诞生还不到一年。但在这么短的时间里，Matroska取得的进展也是非常引人注目的。 但Matroska毕竟还是一种发展中的技术，它没有深厚的背景可以依托，这决定了它不可能在商业领域(如DV、数字电视)里有所作为，同样的道理，它要想取代 AVI成为一种通用的多媒体封装格式并不会十分顺利。不过，DVDRip的普及历程告诉我们，流行才是硬道理!DVD播放机厂商现在不是也已经放下架子，对DVDRip提供支持了么。所以，Matroska目前最需要做的就是让更多的人知道它。 MKV的目标 建立一个现代、灵活、延伸性、多平台的互联网服务器，快速查找文件； 发展一套创作和编辑用的Matroska文件工具，并在GNU通用公共许可证下发布； 开发一个网络图书馆，允许开发者向Matroska申请，将他们自行开发的应用软件加入Matroska音频格式，并在GNU宽通用公共许可证下发布； 与硬件制造商合作，把他们的音频格式嵌入多媒体的设备里； 支授以Matroska在各种各样的操作系统（包括Windows、DirectShow、Linux、Haiku和多媒体处理框架GStreamer）的运作 。 [1]

每日开源：一个巨硬的产品级嵌入式流媒体库

       哈喽，我是老吴。

       今天分享一个比较复杂的开源项目：live 是一个开源的流媒体库，用于实现实时流媒体的传输和处理。它提供了一套跨平台的 C++ 类库，帮助快速构建高效、电商 源码交付可靠的流媒体服务器和客户端应用程序。

       live的代码量庞大，约9w行代码。如果专注于核心逻辑，代码量缩减到约8K行。使用live，你可以收获高效可靠的流媒体库，了解产品级的C++项目设计，掌握音视频基础知识，甚至获得基于select()的C++事件循环库。live在媒体播放器、流媒体服务器、视频监控系统等领域应用广泛，如VLC、FFmpeg、源码mbtiGStreamer均使用live实现流媒体的接收和播放。

       live基于C++，语法相对简单，适合专注于学习C++类设计和编写专业的C++软件。为了理解源码，需要补充多媒体、流媒体的理论知识。通过阅读和运行相关应用，加深对理论知识的理解。

       编译live库后，会生成4个静态库：libBasicUsageEnvironment.a和libUsageEnvironment.a用于实现事件循环、上下文管理、任务管理等；libliveMedia.a负责多媒体流化，包括音视频编解码、流媒体协议实现；libgroupsock.a负责网络IO功能，核心是TCP、UDP的读写。简单示例是RTP传输MP3音频，涉及server和client两个程序。

       server程序的log源码核心逻辑包括准备运行环境、设置数据来源、设置数据目的地。TaskScheduler用于任务管理，基于select()实现事件循环。BasicUsageEnvironment用于上下文管理。数据流化本质是网络传输，Source和Sink分别表示数据源和目的地，本例中Source是MP3FileSource，Sink是MPEG1or2AudioRTPSink。client端程序同样初始化Source和Sink。

       RTP协议简介，RTP（Real-time Transport Protocol）是一种用于实时传输音频和视频数据的网络传输协议，基于UDP，用于在IP网络上传输实时媒体数据。RTP协议设计目标是提供低延迟、高效率的传输，以满足实时应用需求。主要特点包括时间戳、序列号、负载类型、宁德源码NACK反馈和RTCP（Real-time Transport Control Protocol）等。

       关键问题是如何实现数据一帧帧流化？关注点不是具体音视频格式解析或特定协议实现，而是live对音视频流化的整体框架。通过示例分析，live本质上将音视频数据逐帧解码，通过RTP协议经网络发送。live封装了多种数据Source和Sink，但无需详细了解每个概念。仍以RTP传输MP3数据为例，分析live的工作流程。

       首先，需要对相关类的关系有大概概念：MediaSource是所有Source的父类，各种具体音视频Source基于其派生；MediaSink是所有Sink的父类，派生出FileSink、RTPSink等众多Sink类。Sink类最关键的成员函数是startPlaying()，用于使用Source对象获取帧数据，然后发送至网络。

       RTP传输MP3的主要逻辑包括准备就绪后调用MediaSink::startPlaying()启动数据流化，在packFrame()调用Source对象的ctmediator源码getNextFrame()。getNextFrame()最终调用MP3FileSource的doGetNextFrame()，负责MP3音频解码，解码完成后，回调afterGettingFrame()，正常时调用sendPacketIfNecessary()发送数据，并添加至事件循环调度器中。一段时间后，MultiFramedRTPSink的sendNext()被调用，推动新一帧数据传输，直到Source中的所有帧数据被消费。

       live如何创建RTSP服务器？通常RTP协议与RTSP协议结合使用，对外提供RTSP服务器服务。RTSP提供控制实时流媒体传输和播放的标准化方式，可以控制播放、暂停、停止、快进、后退等功能。添加几行代码即可创建RTSP服务器。RTSP服务器封装实现RTSP服务，类似HTTP协议，是文本协议。服务器包括接受客户端连接、读取客户端数据、解析和处理数据的操作。

       总结，live是一个开源的多媒体流媒体库，支持常见流媒体协议，提供高效可靠的流媒体传输功能，适用于构建流媒体服务器和客户端应用程序。使用live需要熟悉C++编程和网络编程知识，官方提供丰富示例代码，帮助快速熟悉库的使用方法。

“OSM”代表什么？

       OSM，全称为 "Open Source Media"，在中文里被译为“开源媒体”。这个缩写词在英文世界中表示一种基于开放源代码原则的媒体处理和分发方式，它涉及到的技术平台、系统和应用广泛应用于互联网和多媒体领域。

       OSM的中文拼音为“kāi yuán méi tǐ”，在英语中的流行度达到了次，显示出它在技术社区中的活跃度。它的分类主要属于互联网缩写词，但具体应用领域广泛，如教育平台、多媒体开发、数据中心能源管理等。例如，GStreamer，一个开源的多媒体框架，就经常与OSM一起使用，为各种媒体流（如音频和视频）提供无缝连接的解决方案。

       青岛国际帆船中心媒体中心的研究项目中，也采用了开式间接式海水源热泵系统，这正是OSM理念在实际应用中的一个实例。总的来说，OSM代表了一种开放、透明和协作的媒体处理模式，对于推动技术创新和资源共享具有重要作用。

       请注意，尽管OSM的信息来源于网络，主要用于学习和交流，但使用者需自行甄别其适用性，以避免潜在风险。版权信息应归原作者所有，仅供学习参考。

GStreamer基础教程（十）

       GStreamer教程详解（十）

       作为强大的流媒体开发框架，GStreamer的特点在于其模块化设计，允许无缝集成新插件。然而，这种灵活性也伴随着复杂性，特别是对于新插件的开发。本指南旨在深入讲解如何使用GStreamer，特别是通过C语言开发音频过滤器插件，以扩展现有功能。

       入门指南

       本指南针对的读者群体包括：无需开发新功能，仅使用GStreamer现有功能的用户；或对现有插件进行应用程序开发，但无需从零开始创建的开发者。如果您需要GStreamer应用程序开发的具体帮助，应查看相关应用手册。

       编写插件

       章节内容将引导您从零开始构建插件，从获取模板源代码开始。首先，通过命令行工具获取gst-template模块的副本，它提供了创建基础插件的模板。通过运行`make_element`命令，您可以根据需要创建自定义的MyFilter插件，最后会生成gstmyfilter.c和gstmyfilter.h文件。

       基础构建

       创建新元素时，需要定义其名称、作者等元数据，这称为样板。通过复制模板并添加功能，`gst-plugin/tools`中的make_element工具简化了这一过程。在gst-plugin/src目录下运行make_element命令，例如：`make_element MyFilter gst-plugin/src`。

       基本代码检查

       虽然大部分接口由GStreamer自动处理，但头文件中的代码仍需编写。例如，使用`GST_ELEMENT_REGISTER_DEFINE`宏来注册元素和其函数，如`GST_ELEMENT_REGISTER (my_filter)`。

       元数据和pad模板

       元素元数据提供了额外信息，通过`gst_element_class_set_metadata`进行设置。pad模板描述了元素的输入输出端口，`gst_element_class_add_pad_template`用于注册。

       构造函数

       元素有两个构造函数：_class_init（初始化类）和 _init（初始化实例）。plugin_init函数用于检查依赖并注册元素类型。

       pad配置

       pad是数据流的入口和出口，需要在元素_init()函数中创建并配置。`gst_pad_new_from_static_template`用于基于静态模板创建实际pad，并设置事件和查询处理函数。

       深入理解

       教程随后深入讲解了状态管理、属性、信号等概念，帮助您更好地理解和使用GStreamer插件的高级功能。