1.ffmpeg实现媒体流解码
2.分析流媒体服务器源码：Rtmp发布流程的媒体SRS解析
3.音视频流媒体开发系列（45）GLSurfaceView源码解析&EGL环境
4.FFmpeg/WebRTC/RTMP音视频流媒体技术
5.FFMPEG详解(完整版）
6.SRS(simple-rtmp-server)流媒体服务器源码分析--RTMP消息play
ffmpeg实现媒体流解码
ffmpeg实现媒体流解码的详细步骤
本文将深入探讨如何利用ffmpeg将MP4媒体流的视频转化为yuv格式，音频转换为pcm数据。播放首先，源码理解解复用和复用的媒体概念至关重要：解复用：MP4等多媒体文件包含视频（如H或H）和音频（AAC或MP3）等多种流。ffmpeg的播放任务是分离这些独立的流。
复用：则是源码spring源码 策略模式将这些分离的流重新打包成如MP4或FLV等常见的媒体格式。
具体解码流程分为四步： 初始化：使用avformat_open_input打开输入文件，媒体avformat_find_stream_info获取流信息，播放再通过av_find_best_stream找到视频和音频流的源码索引。 视频解码：利用avcodec_find_decoder获取视频解码器，媒体avcodec_find_context3打开解码器，播放avcodec_parameters_to_cotext设置解码参数，源码最后通过avcodec_open2启动解码器。媒体 音频解码：同样的播放方法，通过avcodec_find_decoder和avcodec_open2找到并启动音频解码器。源码 解码过程：这部分涉及ffmpeg的解码核心，根据音频和视频流的特性，进行实际的解码操作。 输出存储：音频和视频数据的存储需要特定技巧，包括选择合适的格式（如YUV或YUV）以及存储方法。 完整源码已在文章ffmpeg实现音视频解码中提供，供读者参考和实践。分析流媒体服务器源码：Rtmp发布流程的SRS解析
Rtmp发布流程在SRS服务器中主要通过单线程多协程模型来实现，以简化线程管理和数据同步。以下是关键步骤的解析：
SRS基于state-threads协程库工作，每个协程在单线程内独立执行，无需考虑线程安全问题。程序启动后，通过SrsStreamListener监听并处理TCP连接，新江湖工具源码创建SrsTcpListener和SrsReusableThread进行并发处理。
当接收到客户端连接时，会根据连接类型创建不同的SrsConnection，如RtmpConn。SrsRtmpConnFMLEPublish负责处理推流至服务器，会进入publishing函数，其中创建SrsPublishRecvThread协程，接收和处理客户端的消息。
消息处理中，视频数据会经过缓存H序列头、HLS分发和消费者分发等步骤。每个消费者有自己的SrsMessageQueue，队列大小由配置文件中的"queue_length"设置，队列满时旧消息会被丢弃，但关键的序列头不会被删除，避免影响客户端解码。
总结来说，SRS的Rtmp发布流程通过高效的单线程协程设计，保证了数据的缓存和分发，同时通过策略性丢包避免了可能导致花屏的问题。
音视频流媒体开发系列（）GLSurfaceView源码解析&EGL环境
查看源码的原则：以常用的API为入口，依据地图、带着问题、沿着主线来寻找答案 从事「音视频领域」开发工作有前途吗？ GLSurfaceView在使用时，我们调用的两个主要方法是setEGLContextClientVersion和setRenderer。具体操作在渲染回调中执行，包括onSurfaceCreated、onSurfaceChanged和onDrawFrame。客户管理页面源码 我们的焦点是EGL和GLThread。1.1. setRenderer的实现：检查GLThread的状态，确保只有一个GLThread存在。
1.2. GLThread实现：这是一个Thread的子类，关键逻辑在guardedRun方法中。
1.3. guardedRun（渲染核心逻辑）：创建EGLSurface，获取GL对象，并在EGLContext和EGLSurface生成并绑定后执行渲染。渲染数据通过eglSwapBuffers显示。
1.4. EglHelper：提供创建EGLSurface、获取GL对象和交换Framebuffer的方法。
音视频免费学习资源：FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发 整理了一些面试题、学习资料、教学视频和学习路线图共享在群文件，资料涵盖C/C++、Linux、FFmpeg、WebRTC、RTMP等，免费分享，有需要的可以加入群自取。TextureView +EGL+ GLThread绘制图形
将GLSurfaceView内容简化，剔除SurfaceView继承，保留GL环境，使用GLEnvironment进行渲染。借鉴了[GLSurfaceView的简单分析及巧妙借用]的思路，避免了从头开始实现GL环境的复杂过程。 通过实践，发卡网程序源码了解了GLSurfaceView内部机制、EGLThread的实现和EGL上下文的意义。在TextureView基础上创建EGL上下文和GLThread以实现OpenGL的绘制。 感谢阅读。FFmpeg/WebRTC/RTMP音视频流媒体技术
深入探索FFmpeg、WebRTC和RTMP的音视频流媒体技术，本文将逐步为您解析各个领域的重要知识点与实战技巧。
首先，音视频基础知识不容忽视。对于FFMPEG环境搭建，无论是Windows还是Linux平台，我们都应熟练掌握。此外，深入理解音频与视频的基础，使用如Medialnfo与VLC播放器等常用工具，将使我们对音视频处理有更全面的认识。
接下来，FFMPEG命令是音频、视频处理的利器，涵盖视频录制、多媒体文件分解与复用、裁剪与合并、与视频互转、直播相关操作，以及各种滤镜应用。编程实战中，音视频渲染需借助SDL环境，包括事件处理、黑锐源码 违法线程操作、YUV视频播放与PCM声音播放。FFmpeg API的框架、内存模型与常用结构体，构成了更深层次的音视频处理能力。音视频编码领域，AAC与H编解码原理、解码与编码流程深入解析，使我们掌握音视频编码的核心。封装格式如FLV、MP4与多媒体转封装格式实战，是音视频分发的关键。音视频过滤器实战则聚焦于音视频过滤器的使用，包括视频过滤器的详细说明。播放器开发实战涉及播放器框架分析、音视频解码、播放控制与同步，掌握ffmpeg播放器源码解析，如ffplay.c中的意义，将使我们全面掌握播放器开发。
流媒体技术的深入理解是音视频技术的关键。了解RTMP、HLS、HTTP-FLV等流媒体协议，wireshark抓包技术，FFmpeg在流媒体服务器中的应用，以及首屏秒开技术、负载均衡部署方式，将使我们能够构建高效、稳定的流媒体服务。
最后，WebRTC技术的发展与应用是音视频领域的一大亮点。从中级开发到高级开发，深入研究WebRTC通话原理，搭建开发环境，配置coturn服务器，采集音视频数据，理解一对一会话流程，设计信令服务器，实现Web与Android、iOS间的通话，掌握AppRTC，将使您成为WebRTC开发的专家。高级开发中，自定义摄像头分辨率、调整编码器顺序、实现多方通话、利用Janus框架构建会议系统，以及理解拥塞控制算法、FEC、jitter buffer等，将使您的WebRTC项目更具竞争力。
本文旨在为您提供FFmpeg、WebRTC与RTMP音视频流媒体技术的全面解析与实战指导，更多音视频相关信息，欢迎继续探索与实践。
FFMPEG详解(完整版）
FFMPEG详解
FFMPEG是自由软件中最完备的多媒体支持库，几乎涵盖了所有常见数据封装格式、多媒体传输协议以及音视频编解码器。对于多媒体技术开发工程师来说，深入研究FFMPEG是必不可少的。它的重要性如同kernel之于嵌入式系统工程师。FFMPEG的大部分代码遵循LGPL许可证，少部分遵循GPL许可证，因此其被广泛应用于各种第三方播放器和商业软件中，但需要注意在商业应用中可能涉及专利风险。
FFMPEG功能分为多个模块，如核心工具、媒体格式、编解码、设备和后处理模块，分别提供公用功能函数、实现多媒体文件读写、音视频编解码、设备操作以及音视频后处理。
FFMPEG提供命令行工具ffmpeg，其使用方法包含三部分：全局参数、输入文件参数、输出文件参数，每组输入参数以‘-i’结束，每组输出参数以文件名结束。
在使用FFMPEG时，需要熟悉基本选项、流标识、音频选项、视频选项等，同时，FFMPEG支持多种滤镜和高级选项，实现特定用例。
编译FFMPEG时，通过configure脚本实现定制和裁剪，以适应不同系统和需求。configure脚本生成的config.mak和config.h文件在Makefile和源代码层次上控制编译过程。
深入FFMPEG示例程序包括解码功能，实现复杂多媒体播放器的基础解复用、解码、数据分析过程。用户接口涉及数据结构、编解码器、媒体流和容器等概念，通过FFMPEG提供的AVFormatContext、AVStream、AVCodecContext等结构进行抽象。
时间信息在FFMPEG中用于实现多媒体同步，包括流内和流间同步。FFMPEG通过AVPacket结构为每个数据包打上时间标签，支持上层应用的同步机制。时间信息的获取和操作对于多媒体应用至关重要。
FFMPEG的API分为读系列、编解码系列和写系列，实现媒体数据的获取、编码、解码和输出。关键函数包括avformat_open_input、avformat_find_stream_info、av_read_frame等，用于文件输入、流信息查找和数据读取。
FFMPEG支持过滤链，通过AVFilter、AVFilterPad和AVFilterLink实现视频帧和音频采样数据的后续处理，如图像缩放、增强和声音重采样。
综上所述，FFMPEG是多媒体开发工程师不可或缺的工具，其功能强大且适用范围广泛，深入理解FFMPEG对于开发高性能多媒体应用至关重要。
SRS(simple-rtmp-server)流媒体服务器源码分析--RTMP消息play
本章内容梳理了SRS在接收到RTMP信息后如何进行转发的过程。在此过程中，首先进行代码梳理，作者也在源码熟悉阶段，可能尚未完全梳理完接受到RTMP后信息如何处理、缓存以及转发给直播用户等内容。
SRS源码中的Play流程如下：
1. 进入play流程：本章内容直接从SrsRtmpConn::stream_service_cycle()方法开始梳理。
2. 在接受流程中，客户类型为SrsRtmpConnFMLEPublish “fmle publish”，而在转发流程中，客户类型为SrsRtmpConnPlay。
3. 在http_hooks_on_play()方法中，回调on_play()方法通知vhost，xxx用户已经开始play。
4. 在http_hooks_on_stop()方法中，回调on_stop()方法通知vhost，xxx用户已经停止play。
5. 最重要的是进入该函数。
在函数中：
1.1 根据客户端创建消费者对象：create_consumer(this, consumer)
1.2 为该消费者开启一个独立协程：trd.start() //此处一直不太明白，在play流程中创建一个协程用来做什么?
1.3 进入play主流程：do_playing(source, consumer, &trd);
2. 进入主play循环：do_playing()函数内容众多且非常重要，因此将函数内容全部列出。
2.1 通知消费者准备play
2.2 从消费者列表中取出Rtmp信息（SrsMessageQueue）
2.3 进入play入口
3. 进入SRS发送接口（play）：在int SrsProtocol::send_and_free_messages(SrsSharedPtrMessage** msgs, int nb_msgs, int stream_id)函数中，进入int SrsProtocol::do_send_messages(SrsSharedPtrMessage** msgs, int nb_msgs)，该函数有一个#ifdef SRS_PERF_COMPLEX_SEND宏定义，一般rtmp协议都是要混合音视频数据，在做转发。在往后面看，
最后进入
在该函数中，最重要的一点是send message总出口writen()函数。它负责将转发给直播用户的流转发出去。
4. 最后：play总结
（1）通知client开始play
（2）从消费者列表中取出Rtmp数据
（3）从总出口writev（）函数中转发出去
