1.开源视频解决方案？
2.webrtc linphone 到底哪个
3.音视频学习--Video Fast Update
4.野火鲁班猫卡片电脑创意氛围赛（第二期）基于鲁班猫1N的码视码多媒体会话服务器
5.wvp-GB28181-pro的安装与调试
6.怎样使用linphoneapi编程？

开源视频解决方案？

       探索开源视频解决方案：Yangwebrtc、Licode、频源Janus与Mediasoup的码视码比较</

       在构建音视频系统时，开源技术无疑提供了快速而经济的频源途径，然而也伴随着技术债务的码视码可能。让我们深入剖析 Yangwebrtc、频源foobardts源码输出Licode、码视码Janus-gateway 和 Mediasoup 这四大开源解决方案，频源以帮助你做出明智的码视码选择。

       Yangwebrtc

       自主研发的频源结晶：</Yangwebrtc 以其自定义的Webrtc/Srt/Rtmp架构而闻名，适用于教育、码视码医疗等多元化应用场景。频源它的码视码优点在于编译简单，适合中国本土生态，频源但谷歌Lib的码视码问题和复杂的编译过程可能成为挑战。

       Licode

       全面的SFU/MCU平台：</Licode 不仅提供媒体通信和用户管理等基础功能，还支持分布式部署。其亮点在于无需二次开发，社区活跃。然而，Linux支持有限，代码结构复杂，Android/iOS SDK支持有限，性能方面略逊一筹。

       Janus-gateway

       WebRTC服务器中的明星：</Janus以其C语言编写的WebRTC服务器而著名，尤其适合Linux环境。社区交流可能局限，但其源码清晰，部署指南详细，链接如下：/meetecho/janus-gateway，部署步骤详尽。

       Janus的优势在于其插件式架构，支持SIP、TextRoom和Streaming等多种插件，传输层兼容多种协议，性能卓越。然而，复杂性高和异步I/O处理机制的局限性也需留意。

       Mediasoup

       Mediasoup，97源码社区由Node.js和C++打造，专为WebRTC流媒体服务器设计。它关注底层数据传输，性能高效，WebRTC优化明显。与Janus相比，Mediasoup在实时性和效率上更胜一筹。

       其他选项

       Medooze以其全面的功能而闻名，但C++开发的Mediasoup在性能上略优。Jitsi以其丰富的组件如Video-Bridge和活跃的社区吸引开发者，Kurento则凭借成熟的C++开发和详尽的文档吸引成熟项目。对于Go语言爱好者，pion/webrtc是个学习的好选择。

       决策建议

       选择哪种方案，关键在于团队的技术熟悉度、项目需求、业务规模、分布式支持的考虑、二次开发的灵活性、时间限制以及社区的活跃度。务必在投入前进行彻底的测试和研究，确保选择最适合的开源视频解决方案。

webrtc linphone 到底哪个

       æœ€æ–°è¦åšä¸€ä¸ªç§»åŠ¨ç«¯è§†é¢‘通话软件，大致看了下现有的开源软件

       ä¸€) sipdroid

       1）架构

       sip协议栈使用JAVA实现，音频Codec使用skype的silk（Silk编解码是Skype向第三方开发人员和硬件制造商提供免版税认证(RF)的Silk宽带音频编码器）实现。NAT传输支持stun server.

       2）优缺点：

       NAT方面只支持STUN，无ICE框架，如需要完全实现P2P视频通话需要实现符合ICE标准的客户端,音频方面没看到AEC等技术，视频方面还不是太完善，目前只看到调用的是系统自带的MediaRecorder，并没有自己的第三方音视频编解码库。

       3）实际测试：

       åŸºäºŽsipdroid架构的话，我们要做的工作会比较多，（ICE支持，添加回音消除，NetEQ等gips音频技术，添加视频硬件编解码codec.）,所以就不做测试了。

       äºŒ) imsdroid

       1)架构：

       åŸºäºŽdoubango(Doubango 是一个基于3GPP IMS/RCS 并能用于嵌入式和桌面系统的开源框架。该框架使用ANSCI-C编写，具有很好的可移植性。并且已经被设计成非常轻便且能有效的工作在低内存和低处理能力的嵌入式系统上。苹果系统上的idoubs功能就是基于此框架编写) .音视频编码格式大部分都支持（H(video)，VP8(video)，iLBC(audio),PCMA,PCMU,G,G）。NAT支持ICE（stun+turn）

       2）效果实测

       æµ‹è¯•çŽ¯å¢ƒï¼šå…¬å¸å±€åŸŸç½‘内两台机器互通，服务器走外网sip2sip

       éŸ³é¢‘质量可以，但是AEC打开了还是有点回音（应该可以修复）。视频马赛克比较严重，延迟1秒左右。

       3）优缺点

       imsdroid目前来说还是算比较全面的，包括音视频编解码，传输（RTSP，ICE），音频处理技术等都有涉猎。doubango使用了webrtc的AEC技术，但是其调用webrtc部分没有开源，是用的编译出来的webrtc的库。如果要改善音频的话不太方便，Demo的音频效果可以，视频效果还是不太理想。

       ä¸‰ï¼‰csipsimple

       1）sip协议栈用的是pjsip,音视频编解码用到的第三方库有ffmpeg（video）,silk(audio),webrtc.默认使用了webrtc的回声算法。支持ICE协议。

       2）优缺点：

       csipsimple架构比较清晰，sip协议由C实现，java通过JNI调用，SIP协议这一块会比较高效。其VOIP各个功能也都具备，包括NAT传输，音视频编解码。并且该项目跟进新技术比较快，官方活跃程度也比较高。如果做二次开发可以推荐这个。

       3）实测效果

       æµ‹è¯•çŽ¯å¢ƒï¼šå…¬å¸å±€åŸŸç½‘内两台机器互通，服务器走外网sip2sip

       éŸ³é¢‘质量可以，无明显回音，视频需要下插件，马赛克比imsdroid更严重。

       å››ï¼‰Linphone

       è¿™ä¸ªæ˜¯è€ç‰Œçš„sip，支持平台广泛 windows, mac,ios,android,linux，技术会比较成熟。但是据玩过的同事说linphone在Android上的bug有点多，由于其代码实在庞大，所以我暂时放弃考虑Linphone.不过如果谁有跨平台的需要，可以考虑Linphone或者imsdroid和下面的webrtc.。。。好像现在开源软件都跨平台了。。。

       äº”) webrtc

       imsdroid,csipsimple,linphone都想法设法调用webrtc的音频技术，本人也测试过Android端的webrtc内网视频通话，效果比较满意。但是要把webrtc做成一个移动端的IM软件的话还有一些路要走，不过webrtc基本技术都已经有了，包括p2p传输，音视频codec,音频处理技术。不过其因为目前仅支持VP8的视频编码格式（QQ也是）想做高清视频通话的要注意了。VP8在移动端的硬件编解码支持的平台没几个（RK可以支持VP8硬件编解码）。不过webrtc代码里看到可以使用外部codec,这个还是有希望调到H的。

       æ€»ç»“：sipdroid比较轻量级，着重基于java开发（音频codec除外），由于其音视频编码以及P2P传输这一块略显不足，不太好做定制化开发和优化。imsdroid,遗憾就是直接调用webrtc的库，而最近webrtc更新的比较频繁，开发比较活跃。如果要自己在imsdroid上更新webrtc担心兼容性问题，希望imsdroid可以直接把需要的webrtc相关源码包进去。csipsimple的话，都是围绕pjsip的，webrtc等都是以pjsip插件形式扩充的,类似gstreamer. webrtc如果有技术实力的开发公司个人还是觉得可以选择这个来做，一个是google的原因，一个是其视频通话相关关键技术都比较成熟的原因。个人觉得如果能做出来，效果会不错的。

音视频学习--Video Fast Update

       音视频快速更新(VFU)功能解释与应用场景

       VFU是什么？视频快速更新（VFU）是H.视频会议协议中的一项功能，允许在视频通话过程中快速恢复丢失的视频帧。当视频帧在传输过程中丢失时，接收端可以向发送端发送视频快速更新请求，发送端将尽快重传丢失的帧，帮助接收端快速恢复并显示丢失的视频信息。这有助于提高视频会议的整体质量。

       VFU在实际中的使用场景？RFC中指出，VFU适用于基于会话初始化协议（SIP）的系统中，并在不同供应商的实时交互应用程序中使用。该功能由Microsoft、Polycom、Radvision开发，并被多个供应商使用。RFC指出VFU的缺点：使用SIP信令路径发送视频快速更新不如使用RTP控制协议（RTCP）反馈方法，因为命令流经信令路径中的皮影客源码所有代理，增加了消息延迟，并导致代理不必要的过载。因此，大部分场景还是通过RTCP消息端到端完成交互，而不是通过信令代理。

       VFU传输视频控制命令可能导致视频数据发送方在允许的带宽内发送更多数据。

       VFU的交互方式？VFU是以XML形式使用SIP INFO方法传输，“Content-Type”设置为“application/media_control+xml”。这种方法利用SIP内置的可靠性。

       VFU工作原理？视频通过SIP服务器从发送端传输到视频接收端。首先发送I帧，然后发送后续P帧。在某些情况下，发送的后续P帧可能会损坏，并且可能会发生视频丢失。在这种情况下，视频接收器将向视频发送端发送VFU请求。VFU请求最初在SIP INFO消息中发送到SIP服务器，服务器将请求转发到视频发送端。一旦视频发送端接收到VFU请求，就会通过RTP流将I帧传输到视频接收端。一旦接收到I帧，后续的P帧按照新的I帧逐步发送。

       VFU代码走读？依据RFC中提到的多种应用场景，VFU通常用于会议或实时音视频场景。当前正在学习linphone的源代码，其中包含该部分内容，所以以linphone代码为例完成VFU的相关走读。VFU发送流程涉及相关接口调用，之后会调用liblinphone中的同名API，过程相对容易理解。VFU接收流程在sal中收到相关信息，首先在coreinit时完成相关callback函数注册，sal收到sip反馈的VFU XML后，通过callback回调方式完成相关I帧数据的发送。

       在linphone中，VFU相关功能体现在VideoEncoderInterface接口宏定义中，以及onRequestVfuCall()回调函数的人脸打卡源码处理。对于HxEncoderFilter类，requestVfu()函数用于向编码器请求视频快速更新，而process()和feed()函数在处理视频帧时，根据需要强制对关键帧进行编码。

       总结，音视频快速更新（VFU）是H.视频会议协议中用于恢复丢失视频帧的一项功能。了解其工作原理、应用场景以及代码实现，对提高视频会议质量有重要作用。通过学习linphone的源代码，可以更深入理解VFU的实现细节。

野火鲁班猫卡片电脑创意氛围赛（第二期）基于鲁班猫1N的多媒体会话服务器

       在本次的鲁班猫野火卡片电脑创意氛围赛（第二期）中，参赛者利用鲁班猫1N平台构建了一个创新的多媒体会话服务器。该系统依托RK的多媒体处理能力，选用了SIP作为访问控制协议，RTP/RTCP和UDP作为媒体控制与传输协议，旨在打造一个功能全面的网络音视频通信系统，具备音视频电话建立、实时编解码和通话控制等功能。

       SIP，由IETF提出的协议，因其在多媒体会话控制中的优势，成为未来网络融合通信的主流。基于SIP设计的嵌入式服务器，具有高度兼容性和扩展性，支持多种流媒体，易于集成和减轻网络负担。作者选择OpenSIPS作为SIP服务器软件，它是一个开源的语音、视频、IM等SIP扩展的代理/服务器，适合在鲁班猫1N上安装。

       搭建过程包括在Ubuntu.环境中配置，安装MySQL存储用户信息，从GitHub或Gitee获取OpenSIPS源码，通过menuconfig进行定制安装，并配置mysql、生成cfg文件和opensipsctlrc。阿里树源码通过添加用户和配置文件，最后进行系统测试，通过Linphone或Zoiper验证服务器连接，成功后可进行语音和短信通话。装上外壳后的鲁班猫1N，凭借良好的发热控制和SOC性能，胜任多媒体语音服务器角色。

wvp-GB-pro的安装与调试

       本文将深入探讨WVP-GB-pro的安装与调试过程，特别关注其与ZLMediaKit的集成。首先，我们比较了几种GB服务模型，最后选定gosip+ZLMediaKit、Monibuca插件式和WVP-GB-pro+ZLMediaKit，本章节将重点讲解后者。

       要开始安装，你可以从GitHub或Gitee下载最新版本的WVP-PRO软件，它支持多种主流监控品牌设备，如海康威视和大华。

       安装步骤如下：

基础环境准备：首先，安装Docker并在其内构建Redis、MySQL和ZLMediaKit环境。Redis用于存储和缓存，MySQL用于数据库，ZLMediaKit负责媒体处理。

Docker安装Redis：检查版本、下载镜像，设置映射端口，确保正常运行。

MySQL Docker安装：参考相关技术文章，配置数据库连接参数。

ZLMediaKit Docker安装：利用官方提供的安装命令，快速集成到项目中。

WVP-GB-pro编译：从源代码仓库获取，配置静态网页、打包jar，并调整必要的配置参数。

配置要点：例如，上传文件限制(max-file-size: MB, max-request-size: MB)、网络连接(REDIS: host、port等)、数据库连接(JDBC类型、驱动等)、数据映射(mybatis)、HTTP和HTTPS设置，以及SIP服务器配置等。

       以下是一些关键配置项的示例：

上传文件限制:max-file-size: MB, max-request-size: MB

REDIS连接:host: ..., port: , DB: 6, password: , timeout:

JDBC配置:HikariDataSource类型，驱动com.mysql.cj.jdbc.Driver, ...

mybatis映射:map-underscore-to-camel-case: true

HTTP服务器设置:server: port:

HTTPS配置:enabled: false, key-store: xxx.jks, key-store-password: password

SIP服务器配置:IP: ..1., port:

       在实际操作中，务必根据具体需求调整这些配置。务必注意，由于篇幅限制，部分详细教程链接和编译过程中的具体步骤已省略，建议查阅完整的文档或教程以确保每个环节的正确执行。

       最后，对于媒体参数获取和测试，推荐使用Apifox查询接口index/api/getServerConfig，以及强大的测试工具GB_ServerPlatform，通过其Client目录下的工具进行平台信息查看和实时视频播放测试。

       通过以上详细的安装步骤和配置指南，相信您已经对WVP-GB-pro的安装与调试有了一定的理解。接下来，可以根据这些信息逐步实施，确保监控系统的顺利集成和运行。

怎样使用linphoneapi编程？

       Linphone是基于WEB的IP电话工具，可以运行于 Linux和Windows下。通过 Linphone可以在互联网上和其他人进行声音、视频通信。 Linphone是遵从SIP协议开发的，它需要和支持SIP协议的设备或者代理服务器进行相互操作。

       二、准备工作：

       1、DVR联网：

       两种方式：

       T3DVR连接AI-BOX->T-BOX通过网络转发连接外网。

       T3DVR直接接PC,利用PC的网络出外网（桥接）。

       2、下载客户端

       下载地址：]

       [net_policy_0]

       net使用ref参数传递

       [misc]

       唯一的机器生成的标识

       [video]

       是否显示、是否录像等标志位

       [rtp]

       rtp音频端口、视频端口等信息：

       [sound]

       铃声文件目录、音频频率等、

       六、 Linphone中通信过程分析：

       实验：两个电脑下载linphone进行通话，Wireshark进行抓包分析通信过程。

       Linphone 地址为：

       A: sip:linphone@...:

       B: sip:linphone@...:

       操作：

       A给B打电话进行实验：

       Wireshark置过滤信息：

       (ip.src == ...)||(ip.src == ...)

       过程：

       SIP（Session Initiation Protocol，会话初始协议）是一个控制发起、修改和终结交互式多媒体（音视频、聊天、游戏等）会话的信令协议

       1、主叫方发给被叫方的INVITE请求

       2、B向A发送呼叫处理中的应答信号。

       3、B向A发送 我正在震铃中，请稍等。

       4、B向A发送 接通了。

       5、A向B发送应答。

       6、A和B互相通过RTP（Real-time Transport Protocol实时传输协议）发送音频或视频数据。

       7、A要挂断了

       8、关闭UDP服务

       9、B知道A挂断了，相应ACK

       版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

       本文链接：/qq_/article/details/

opensips简介

       在众多sip服务器中，主要分为两大类：一类侧重于媒体和业务服务器，比如freeswitch/asterisk，另一类侧重于代理和负载服务器，如opensips/kamailio。今天我们来介绍下opensips。

       OpenSIPS是用于处理语音、视频、即时消息、在线状态以及其他SIP扩展的开源SIP代理服务器。它被运营商、电信公司或ITSP广泛应用于Class4/5平台、中继、企业/虚拟PBX解决方案、会话边界控制器、应用服务器、前端负载解决方案、IMS平台、呼叫中心等。

       OpenSIPS推荐用于各种SIP场景和服务，其特点包括高吞吐量、路由和集成的灵活性以及有效的应用程序构建。它提供了超过个模块，用于SIP处理、后端操作、集成和路由逻辑。

       接下来，我们介绍OpenSIPS的通用编译安装和配置启动流程。

       开发环境需满足以下条件：CentOS版本6或以上、OpenSIPS版本2.4.9、GCC/C++版本4.4.7。

       编译安装分为几个步骤：安装依赖库，如hiredis；然后从源码安装包中进行编译安装，有多种方法可选，如方法1或方法2。

       安装完成后，目录结构默认位于/usr/local/opensips，需要检查安装目录。

       创建数据库时需确保无数据库已存在，执行相应命令。

       防火墙设置需根据不同版本的CentOS进行相应配置，例如CentOS6和CentOS7。

       配置日志时，修改opensips.cfg和rsyslog.conf文件，新增logrotate.d/opensips文件，并设置定时任务，重启rsyslog服务。

       设置TCP最大连接数限制，可通过用户级别、Linux系统级别调整，若服务器作为客户端时还需配置端口范围。通过查看sysctl.conf，使配置立即生效。

       使用Linux下查看TCP连接数及状态的命令，统计特定端口的连接数，分析异常情况并封禁IP。

       启动脚本可设置为开机自动启动，使用开机自动启动命令。启停命令提供启动和停止选项，启动时如果失败应检查日志文件。

       配置文件主要用于配置OpenSIPS作为注册服务器的信令代理和负载节点。增加网关数据，配置sip软终端，并进行加载测试，通过sip软终端注册和发起呼叫，测试信令和媒体的连通性。

       总的来说，OpenSIPS作为负载均衡的代理网关，性能优秀。通过配置文件，可以实现常见的网关功能，具体操作请参考OpenSIPS的子模块介绍和接口文档。

sip协议如何用C语言实现

       1、开源的sip服务器端，比较好用的是Asterisk，标准C程序实现，代码清晰。

       2、sip的client相对比较多，主要有exosip,pjsip和opal。exosip简单易用，在PC上用比较方便。但是涉及的相关资源太多，用了osip,srtp,ms2等众多的开源库，ms2下面还用到了ffmpeg，别的不说，光编译就是噩梦。opal功能最强，虽然也用到了ffmpeg ，但是自己封装的非常好，采用插件方式，调用灵活。opal采用class方式提供封装，接口非常友好。感觉唯一不爽的地方，就是低层使用了ptlib，虽然多平台下都很好用，但放在嵌入式下感觉稍庞大了一些。pjsip精巧，方便移植，嵌入式下应该是首选。不过视频频支持方面扩展起来比opal麻烦。个人感觉，对于windows开发者来说，pjsip最大的好处就是代码调试方便。整个工程一次编译通过，另外两个库还要找很多相关的资源

       ã€‚

       3、其他的一些协议栈也调试过，比如reSipphone，好象是这个名字，还有Yate，不过从快速开发角度看，都不太合适。现在搞sip开发的，一开始就是先找好协议栈。linphone,ekiga什么的，但庞大。对于刚开始做的，最好是一个精简的demo。后来找到pjsip下面的几个例子，慢慢地了解了sip的工作流程，当然少不了抓包工具和tcpdump。

       ä¸è¿‡ï¼Œå…¶å®žï¼Œsip没有想象中的那么麻烦。现在回头看，刚开始做项目，使用协议栈绝对不是好想法。如果换个方向，先熟悉SIP基本协议，然后自己改造一个，或完全写一个，可能效果更好。

pjsip 本地视频预览怎么改变内容源的大小 iOS

       1 把视频源当然文件来处理，sample有。不过这种方法用的不多。

       2 修改vid_stream.c，在put_frame和get_frame里，换上我们自己的视频源。这种方法使用的最多，很多人在1.x版本里支持视频，就用这种方法。

       3 重新构造sdp，自己创建rtp通道。

       在sdp上，pjsua_call_make_call这个函数非常方便，直接呼叫对方。不过它在底层做了太多工作，比如启动了声卡。而不用这个函数，直接用比较底层的pjsip_inv_send_msg，自己处理的工作相对比较多（但不难，不过这样就不需要pjsua这个现成的程序了，所以我们继续用pjsua_call_make_call）。

       不过还好，pj库提供了大量的回调，其中一个：on_call_sdp_created，就是在创建sdp后回调上来，由我们自己再修改。比如我们自己定义rtp的端口g_local_port。

       void on_call_sdp_created(pjsua_call_id call_id,

        pjmedia_sdp_session *sdp,

        pj_pool_t *pool,

        const pjmedia_sdp_session *rem_sdp)

       {

       int nPort;

       if (sdp != NULL)

       {

       pjmedia_sdp_media *m = sdp->media[sdp->media_count-1];

       m->desc.port = g_local_port;

       pjmedia_sdp_conn *c = sdp->conn;

       char* addr;

       if (c)

       addr= c->addr.ptr;

       else

       {

       const pj_str_t *hostname;

       pj_sockaddr_in tmp_addr;

       char *addr;

       hostname = pj_gethostname();

       pj_sockaddr_in_init(&tmp_addr, hostname, 0);

       addr = pj_inet_ntoa(tmp_addr.sin_addr);

       sdp->conn = (pjmedia_sdp_conn *)pj_pool_zalloc (pool, sizeof(pjmedia_sdp_conn));

       sdp->conn->net_type = pj_str("IN");

       sdp->conn->addr_type = pj_str("IP4");

       sdp->conn->addr = pj_str(addr);

       }

       sdp->origin.addr = *pj_gethostname();

       }

       }

       同样，这里还可以修改payload type等。

       这是发起呼叫时的，接收方收到后的回应之后，也会触发这个回调，自己设定RTP端口，payload type就可以了。

       2

       呼叫成功后，双方建立起连接关系，这时需要传rtp数据了。pjsua把这些工作都放在底层了，不做任何修改，只需要在发送和接收时，自己做一些处理就行。

       先说接收方(参考siprtp.c源码)：

       pj_status_t init_local_rtp()

       {

       if (m_bInitMedia)

       {

       destroy_media();

       }

       //g_local_port = local_port;

       pj_caching_pool_init(&cp, &pj_pool_factory_default_policy, 0);

        pool = pj_pool_create(&(cp.factory), "test", , , NULL);

       int status;

       //status = pjmedia_endpt_create(&cp.factory, pjsip_endpt_get_ioqueue(pjsua_get_pjsip_endpt()), 0, &med_endpt);

       status = pjmedia_endpt_create(&cp.factory, NULL, 1, &med_endpt);

       status = pjmedia_rtp_session_init(&video.out_sess, , pj_rand());

       status = pjmedia_rtp_session_init(&video.in_sess, , 0);

       status = pjmedia_transport_udp_create(med_endpt, NULL, g_local_port, 0, &video.transport);

       m_bInitMedia = true;

       video.active = true;

       return 0;

       }

       这段代码是本地启动rtp一个端口用来接收视频数据。

       然后，从sdp得到对方发送的ip和端口，调用pjmedia_transport_attach，建立关联就可以了。