1.FFMPEG音视频同步-音频实时采集编码封装成MP4
2.音视频流媒体开发系列（78)ffmpeg实战教程（一）Mp4，自制制mkv等格式解码为h264和yuv数据
3.网页中进行在线播放Flv/mp4的源码代码
4.FFmpeg源码分析: AVStream码流

FFMPEG音视频同步-音频实时采集编码封装成MP4

       音视频同步录制相关文章

       1、 ffmpeg-摄像头采集保存

       2、何自 ffmpeg音视频同步-摄像头采集编码封装

       3、放器 ffmpeg-音频正弦产生并编码封装

       4、自制制 ffmpeg-音频实时采集保存

       5、源码adaboost源码 ffmpeg音视频同步-音频实时采集编码封装

       6、何自 ffmpeg音视频同步-音视频实时采集编码封装

       7、放器 ffmpeg音视频同步-音视频实时采集编码推流

       8、自制制 ffmpeg音视频同步-音视频实时采集编码推流-优化版本

       系统环境：

       系统版本：lubuntu .

       Ffmpge版本：ffmpeg version N--g

       摄像头：1.3M HD WebCan

       虚拟机：Oracle VM VirtualBox 5.2.

       指令查看设备 ffmpeg -devices

       指令播放实时音频 ffplay -f alsa -showmode 1 -ac 2 -i default -ar

       Linux使用ffplay实时采集音频并实时播放_唐传林的源码博客-CSDN博客

       指令录制实时音频ffmpeg -f alsa -ar -i hw:0,0 audio.wav

       ffmpeg -f alsa -ar -i default ffmpeg_record_audio.wav

       ubuntu下用ffmpeg录制音频文件_ubuntu使用指令录制mp3音频_dingjianfeng的博客-CSDN博客

       指令分离音视频:ffmpeg -i test.mp4 -vn -y -acodec copy test.aac

       ffmpeg -i test.mp4 -vn -y -avcodec copy test.h

       本章文档基于ubuntu alsa格式。实时采集音频一帧数据并将其转化为pcm,何自编码成AAC,封装成mp4保存下来

       1.简介

       FFmpeg中有一个和多媒体设备交互的类库：Libavdevice。使用这个库可以读取电脑（或者其他设备上）的放器多媒体设备的数据，或者输出数据到指定的自制制多媒体设备上。

       ffmpeg中的源码音频相关内容

       ffmpeg中AVPacket中可能会含有多个音频帧（AVFrame）,一个音频帧含有多个采样，采样率决定了1s有多少个采样（或者说一个音频帧可以播放多久）。何自对于aac,一帧有个采样，mp3一帧则固定为个字节。

       对于音频，由于有多声道的音频，那么音频解码出来的数据不同声道也储存在不同的指针，如data[0]是左声道,data[1]是右声道，由于各个声道的金珠波段指标源码数据长度是一样的，所以linesize[0]就代表了所有声道数据的长度。

       成员extended_data则指向了data，是一个拓展，上面可以看到data 是包含8个指针的数组，也就是说对于音频，最多只支持8个声道

       如果是以下格式：

       只能保存再AVFrame的uint8_t *data[0]; 音频保持格式如下： LRLRLR。。。。

       如果是以下格式

       plane 0: LLLLLLLLLLLLLLLLLLLLLLLLLL…

       plane 1: RRRRRRRRRRRRRRRRRRRR…

       plane 0对于uint8_t *data[0];

       plane 1对于uint8_t *data[1];

       相关学习资料推荐，点击下方链接免费报名，先码住不迷路~

       音视频免费学习地址：FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发

       免费分享音视频学习资料包、大厂面试题、技术视频和学习路线图，资料包括（C/C++，Linux，FFmpeg webRTC rtmp hls rtsp ffplay srs 等等）有需要的可以点击 加群免费领取~

       2.源码

       最简单的基于Libavdevice的摄像头数据读取一帧帧pcm数据，经过音频重采样获取目标AAC的音频源数据参数，保存成MP4文件

       3.验证

       3.1编译

       3.2结果

       使用软件mp4打开test.mp4,可以听到实时采集的音频

       3.3存在的问题

       1、本文档源码，采集ALSA获取的阿里jdk源码手册源数据是K,stereo声道，采样大小，经转换成pcm的格式，同样是K,stereo声道大小；不同的采样率会出现部分声音数据丢失，具体原因，在 《ffmpeg-音频实时采集保存》具体分析 ，涉及其他分辨率转换，不在本文讨论范围里。

       2、由于本例程没有没有对ALSA音频进行重采样，（采样率，个采样点，双声道，bit），故若保存成ts，flv等封装格式是，默认采用的音频编码格式分别是mpga,mp3,其采样点为。所以运行此程序会有问题，数据无法写入。而且目前暂不探讨音频重采样问题。故想到一种解决方法是，指定AAC音频编码格式（ts,外卖cps源码在哪mp4等都支持AAC音频编码，参考《ffmpeg-摄像头采集编码封装》的表格）。

       4.附件

       无

       5.参考链接

       [1] ffmpeg之PCM转AAC

       FFmpeg()PCM编码AAC_pkt.data 就是pcm吗_mengzhengjie的博客-CSDN博客

       [2]官方Encode pcm file to aac

       [FFmpeg-user] Encode pcm file to aac

       [3]PCM编码AAC,参考其普通PCM格式与AAC转格式差异 FFmpeg()PCM编码AAC_pkt.data 就是pcm吗_mengzhengjie的博客-CSDN博客

       [4] 音频编码（一）--FFmpeg编码-腾讯云开发者社区-腾讯云

       原文链接： FFMPEG音视频同步-音频实时采集编码封装成MP4_qinyi_style的博客-CSDN博客

音视频流媒体开发系列（)ffmpeg实战教程（一）Mp4，mkv等格式解码为h和yuv数据

       在这个FFmpeg实战教程中，我们将探索如何将常见的视频格式如MP4和MKV解码为H和YUV数据。首先，让我们来看一个实例，通过运行解码过程，你将看到两个文件的生成，分别对应解码后的h和YUV数据，其中h由于采用了高效的压缩技术，文件大小明显小于YUV文件。

       解码流程包括以下步骤：首先，将ws.mp4文件复制到项目目录，然后创建两个输出文件。接下来，初始化所需的组件，接着打开视频文件，获取视频信息并选择合适的解码器。在解码过程中，要注意av_read_frame()循环结束后可能遗留少量帧数据，这时需要调用flush_decoder函数，2022年直播源码将这些帧数据完整输出。

       下面是源代码示例，展示如何执行这些操作：

       拷贝ws.mp4并创建输出文件

       初始化解码器和相关组件

       打开和解码视频

       使用flush_decoder确保所有帧数据都被处理

       运行程序后，你将看到生成的h和YUV文件。如果你对音视频开发感兴趣，可以关注我们的免费学习资源，包括FFmpeg、WebRTC、RTMP、NDK和Android高级开发等内容。群文件中提供了详细的面试题、学习资料和教学视频，以及学习路线图，点击加群获取，希望能对你有所帮助。

       对于Windows用户，需要配置FFmpeg环境。首先从ffmpeg.zeranoe.com下载相应版本的shared和dev版本，然后将include和lib文件夹分别复制到指定位置，最后在MinGW命令行中执行命令。而对于Linux或MacOS用户，可以在GCC命令行环境中进行操作。

网页中进行在线播放Flv/mp4的代码

       在线播放Flv/mp4的代码，首先可以选择使用js.alixixi.com的资源，但是经过梦翔儿的研究，发现精简版同样可以满足需求。

       需要注意的是，对于相对路径，应当确保其相对于播放器flvplayer.swf的位置。

       更进一步的复杂操作，可以探索JWplayer。JW FLV MEDIA PLAYER是一款开源的网页视频、音频及播放器，支持Sliverlight播放。通过XML文件可使播放器自动切换显示一组并播放背景音乐。

       为确保播放器正常工作，需要在线参数设置向导longtailvideo.com/suppo...

       源码下载链接为developer.longtailvideo.com...

       在本地测试无误后，将代码部署至服务器，却遇到了错误。梦翔儿意识到可能是mime头问题。在IIS中，对于相应的网站，右键选择“属性”，进入“HTTP头”选项卡，点击“MIME类型”，新建扩展名和MIME类型，分别为“mp4”和“application/octet-stream”。完成设置后，刷新页面，问题得到解决。

       对于IIS环境的用户，在进行上述步骤后，确保问题得到解决。此外，需注意，之前的博客可能已经存在更好的解决方案。

FFmpeg源码分析: AVStream码流

       在AVCodecContext结构体中，AVStream数组存储着所有视频、音频和字幕流的信息。每个码流包含时间基、时长、索引数组、编解码器参数、dts和元数据。索引数组用于保存帧数据包的offset、size、timestamp和flag，方便进行seek定位。

       让我们通过ffprobe查看mp4文件的码流信息。该文件包含5个码流，是双音轨双字幕文件。第一个是video，编码为h，帧率为.fps，分辨率为x，像素格式为yuvp。第二个和第三个都是audio，编码为aac，采样率为，立体声，语言分别为印地语和英语。第四个和第五个都是subtitle，语言为英语，编码器为mov_text和mov_text。

       调试实时数据显示，stream数组包含以下信息：codec_type（媒体类型）、codec_id、bit_rate、profile、level、width、height、sample_rate、channels等编解码器参数。

       我们关注AVCodecContext的编解码器参数，例如codec_type、codec_id、bit_rate、profile、level、width、height、sample_rate和channels。具体参数如下：codec_type - 视频/音频/字幕；codec_id - 编码器ID；bit_rate - 位率；profile - 编码器配置文件；level - 编码器级别；width - 宽度；height - 高度；sample_rate - 采样率；channels - 音道数。

       AVStream内部的nb_index_entries（索引数组长度）和index_entries（索引数组）记录着offset、size、timestamp、flags和min_distance信息。在seek操作中，通过二分查找timestamp数组来定位指定时间戳对应的帧。seek模式有previous、next、nearest，通常使用previous模式向前查找。

       时间基time_base在ffmpeg中用于计算时间戳。在rational.h中，AVRational结构体定义为一个有理数，用于时间计算。要将时间戳转换为真实时间，只需将num分子除以den分母。