1.改进CARAFE特征上采样的图文特征推荐YOLO的人种像分类系统
2.一文解读Twitter开源推荐系统
3.整理了16篇多模态融合（Multimodal Fusion）优质论文，含2023最新
4.FCOS：论文与源码解读
5.MMDet——Deformable DETR源码解读
6.融合CFPNet的融合EVC-Block改进YOLO的太阳能电池板缺陷检测系统

改进CARAFE特征上采样的YOLO的人种像分类系统

       本文研究背景着重于全球化进程中人种识别的重要性，人种分类是源码通过人脸图像中的物理特征分析，来确定个体所属的图文特征推荐人种群体。随着科技的融合发展，尽管地理隔阂减少，源码简单的文章网站源码但种族间的图文特征推荐冲突仍需管理和融合。本文的融合系统针对人脸图像中不同群体的个体物理差异，利用改进的源码CARAFE特征图上采样的YOLO算法进行分类。

       系统包含多个关键组件：数据集的图文特征推荐收集和整理，如使用RaceDatasets，融合通过Python脚本转换格式；模型训练，源码如train.py支持自定义数据集训练和多GPU选项；export.py负责模型导出，图文特征推荐如TorchScript和ONNX格式；ui.py提供图形用户界面，融合用于图像或视频的源码目标检测和分类；val.py用于模型验证，评估指标包括精度和召回率等。

       在yolov5-CARAFE.py中，CARAFE模块通过预测上采样核并重组特征图，实现了内容感知的上采样，与传统方法相比，它具有更大的感受野和轻量化特性。classify\predict.py则用于图像分类推理，可处理多种数据源。整个系统优化了CARAFE的上采样过程，以提高人脸识别的准确性和效率。

       系统结构清晰，包括训练结果的可视化分析，如损失函数、准确率和学习率的变化，以评估模型性能。通过整合源码、数据集和部署教程，系统提供了一个全面的解决方案。

       参考文献引用了多项关于人种识别和面部特征研究的学术论文，为模型的开发提供了理论支持。研究者们通过实验验证了改进的CARAFE在人脸种族分类中的有效性，为跨文化交流和全球融合提供技术手段。

一文解读Twitter开源推荐系统

       Twitter近期开源了其推荐系统源码，这一举措引起行业广泛关注，目前已有近个用户给予支持。然而，目前网络上关于这一开源系统的解读多为博客翻译，显得生硬晦涩，本文旨在系统性分享Twitter推荐系统的核心架构与技术细节。以下内容将从整体架构、数据、特征工程、召回、粗排、精排、混排等模块进行详细解析。

       Twitter推荐系统的核心架构涵盖了数据、特征工程和推荐系统服务Home Mixer。数据层面，brd源码涵盖了社交图、用户交互行为和用户画像数据，构成了一个庞大的异构社交网络。特征工程则重点关注社交图的预训练、聚类、社区发现等，为算法提供深度学习的输入。推荐系统服务Home Mixer，是Twitter定制的Scala框架，集成了算法工程的核心逻辑。

       召回模块是推荐系统的重要组成部分，Twitter设计了多种召回策略，包括In-Network召回和Out-of-Network召回。In-Network召回主要从关注者中检索最新、最感兴趣的推文，占比约%，使用自研搜索引擎Earlybird执行。Out-of-Network召回则通过协同过滤、表征学习等技术，从非关注者中推荐相关推文，占比约%。

       粗排阶段，Twitter采用了一个老式的逻辑回归模型，用于筛选召回结果。模型基于用户侧特征、推文特征和上下文特征进行训练，预测用户与推文交互的概率。精排则采用了一个名为Parallel MaskNet的模型，该模型通过神经网络实现，考虑了数千个特征，输出推文交互概率，实现融合排序。

       重排与混排模块则负责过滤和主页混排，提供个性化的内容组合，如推文、广告、关注作者、Onboarding提示等。整个推荐系统每天执行约亿次，平均完成时间不到1.5秒。

       Twitter推荐系统的背后，是其核心基建，包括用于实时内容推荐的GraphJet图引擎、用于预测用户交互概率的RealGraph模型等。

       最后，值得强调的是，Twitter的开源行动体现了其对透明度的承诺，鼓励社区提交反馈和建议，共同提升推荐算法的性能，同时也保护了用户安全和隐私。这一举措不仅为社区提供了宝贵的资源，也展现了Twitter对技术开放与合作的愿景。

整理了篇多模态融合（Multimodal Fusion）优质论文，docs源码含最新

       多模态融合是多模态学习领域中的关键问题，旨在综合处理来自不同模态（如语音、图像、文本等）的数据，提取有价值的信息和特征，并将这些信息融合，以增强系统的性能。近年来，这一领域已取得了多项值得关注的研究成果，以下将分享篇精选论文，涵盖多模态融合的理论、算法、应用等多个方面。欲获取论文及项目源码，请关注“学姐带你玩AI”公号（了解详情请参阅主页签名），回复“多模态融合”即可获取。

       1.

       传感器融合的外部多模态成像传感器标定：综述

       本文提供多模态成像传感器标定的研究综述，包括基于运动和特征的标定方法，着重探讨目标基标定、无目标标定以及系统多模态传感器标定的最新进展。

       2.

       低质量多模态数据的可证明动态融合

       该文提出一种动态多模态融合框架，通过理论分析揭示不确定性估计解决方案的鲁棒性，引入质量感知多模态融合框架，提高分类准确性和模型鲁棒性。

       3.

       用于道路检测的自适应跳过交叉融合

       文中提出SkipcrossNets，一种用于自动驾驶任务中LiDAR点云与相机图像融合的网络，通过动态连接各层，增强特征传播与融合，减少模型参数。

       4.

       面向三维目标检测的多传感器融合与时间一致性Transformer

       FusionFormer框架用于3D物体检测，通过引入可变形注意力和残差结构，解决特征转换问题，实现统一的采样策略，提升检测性能。

       5.

       多模态语义映射用于物体检测和3D定位

       本文介绍一种结合RGB-D相机和激光雷达的多模态语义映射框架，准确检测预定义对象，优于单传感器实验，特别适用于近和远距离障碍物。

       6.

       用于智能车辆RGB-T城市场景理解的动态双边交叉融合网络

       DBCNet融合RGB-T图像，采用动态双边交叉融合机制，直接聚合多模态信息，优于深度学习基线方法，提升智能车辆的场景理解能力。

       7.

       多模态相互关注和迭代交互用于参考图像分割

       提出多模态相互关注和迭代交互方法，增强模型对多模态信息的理解，通过连续和深入的交互，避免信息扭曲，显著提升参考图像分割性能。

       8.

       用于语义分割的多模态融合网络

       TransFusion模型直接融合图像与点云，无需点云预处理，相较于基本层FCN模型，显著提升Vaihingen和Potsdam数据集的mIoU值。

       9.

       用于多模态3D对象检测的vbad源码激光雷达-相机深度融合

       DeepFusion模型集成激光雷达和相机特征，通过引入InverseAug和LearnableAlign技巧，实现通用多模态3D检测，性能优于现有方法。

       .

       通过深度感知增强的多曝光图像融合

       DPE-MEF网络融合不同曝光图像，通过深度感知增强策略和色彩映射校正，显著提升单张图像的曝光质量。

       .

       基于傅里叶变换和对比学习的鲁棒框架

       提出鲁棒多曝光图像融合框架，结合傅里叶变换与对比学习，处理极端和多样化曝光图像，通过像素强度转移和对比正则化损失，实现高质量融合效果。

       .

       基于multi-moda的雷达和相机特征之间的视差桥接

       文中介绍一种在鸟瞰图下融合雷达与相机特征的新方法，用于3D目标检测，通过视图变换和点融合，实现雷达和相机特征的高效融合。

       .

       半监督医学图像分割的多模态对比互学习与伪标签再学习

       Semi-CML框架利用对比互学习与伪标签再学习，提高半监督医学图像分割的性能，通过跨模态信息和预测一致性，弥补性能差距。

       .

       同质多模态特征融合和交互的三维物体检测

       HMFI方法在自动驾驶场景中实现三维物体检测，通过跨模态特征融合与交互，避免信息损失，提升检测准确性和性能。

       .

       用于端到端自动驾驶的多模态策略融合

       TransFuser Transformer模型集成图像与LiDAR表示，通过注意力机制实现策略融合，减少碰撞风险，表现优于基于几何的融合方法。

       .

       基于Transformer的多曝光图像融合框架

       TransMEF框架使用Transformer与自监督多任务学习，通过三个自监督重建任务学习特征，设计结合CNN与Transformer模块的编码器，实现多曝光图像融合。

       以上论文涵盖了多模态融合的多个角度，从标定、融合算法、应用场景到性能优化，为多模态研究提供了丰富资源。欲获取详细内容和代码，请参照“学姐带你玩AI”公号指引。

FCOS：论文与源码解读

       FCOS：全称为全卷积单阶段目标检测，它在锚框自由领域中占有重要地位，与RetinaNet在锚框基础领域中地位相似。它沿用ResNet+FPN架构，通过实验证明，在相同backbone和neck层下，锚框自由方法可以取得比锚框基础方法更好的效果。

       FCOS借鉴了语义分割的思想，成功地去除了锚框先验，实现了逐点的目标检测，是全卷积网在目标检测领域的延伸。代码比锚框基础类简单，非常适合入门。

       1. 动机

       锚框基础类目标检测方法存在多处缺点，FCOS通过去除锚框，bird源码提出了简单、温柔且有力的目标检测模型。

       2. 创新点

       FCOS借鉴了语义分割的思想，实现了去除锚框、逐点的目标检测。以年提出的全卷积网（FCN）为例，FCOS借鉴了FCN的思想，将其应用于目标检测，主要步骤包括生成先验、分配正负样本和设计bbox assigner。

       3. 模型整体结构与流程

       训练时，包括生成先验和正负样本分配。FCOS的先验是将特征图上的每一点映射回原始图像，形成逐点对应关系。分配正负样本时，正样本表示预测目标，负样本表示背景。

       3.1 训练时

       在训练阶段，先通过prior generate生成先验，然后进行bbox assign。在分配过程中，FCOS利用了FPN层解决ambigous点的问题，通过多尺度特征融合和逐层分配目标来解决。

       3.1.1 prior generate

       FCOS通过映射特征图上的每一点回原始图像，形成点对点对应关系，生成先验。通过公式计算映射关系，其中s表示步长。

       3.1.2 bbox assigne

       分配正负样本时，FCOS借鉴了anchor base方法的正负样本分配机制，通过设计bbox assigner解决ambigous点问题。分配流程包括计算输出值、对输出进行exp操作和引入可学习参数scale，以及使用FPN层分而治之，进一步解决ambigous问题。

       3.1.3 centerness

       FCOS额外预测了centerness分支，以过滤远离目标中心的点，提高检测质量。centerness值范围为0~1，越靠近中心，值越大。测试时，最终score=cls_score*centerness。

       3.1.4 loss

       损失函数包括focal loss、IoU loss和交叉熵损失，用于训练分类、定位和centerness分支。

       3.2 模型结构

       模型继续沿用ResNet和FPN层，进行公平比较。FPN输出的特征层与RetinaNet类似，但FCOS在FPN输出的最后一层特征层上进行额外卷积，与RetinaNet在输入特征层上进行额外卷积不同。在推理阶段，注意centerness与分类分数的乘积作为最终得分，且需要进行NMS操作。

       4. 总结与未来方向

       FCOS是一个简单、温柔、有力量的锚框自由方法，地位重要，思想借鉴于语义分割，流程类似传统目标检测，包括生成先验、正负样本匹配、bbox编码和NMS等，额外加入centerness分支以提升检测质量。

       未来，FCOS的研究方向可能包括更深入的理论分析、模型优化和跨领域应用探索。

       5. 源码

       mmdetection提供了FCOS的配置文件和代码实现，包括多个版本和改进。了解这些细节有助于深入理解FCOS的实现和优化策略。

MMDet——Deformable DETR源码解读

       Deformable DETR: 灵活与精准的检测架构

       Deformable DETR是对DETR模型的革新，通过引入Deformable结构和Multi-Scale策略，实现了性能提升与训练成本的优化。它解决了DETR中全像素参与导致的计算和收敛问题，通过智能地选取参考点，实现了对不同尺度物体的高效捕捉。这种结构弥补了Transformer在视觉任务上的局限，如今已经成为业界标准。

       核心改进在于对Attention机制的重塑，Deformable DETR基于Resnet提取的特征，融入了多尺度特征图和位置编码，生成包含目标查询的多层次特征。其架构由Backbone（Resnet提取特征）、Transformer编码器（MSdeformable self-attention）和解码器（MultiheadAttention和CrossAttention）组成，每个组件都发挥关键作用：

Backbone：Resnet-作为基础，提取来自第一到第三阶段的特征，第一阶段特征被冻结，使用Group Normalization。

Neck：将输入通道[, , ]映射到通道，利用ChannelMapper，生成4个输出特征图。

Bbox Head：采用DeformableDETRHead类型的结构，负责目标检测的最终预测。

       Deformable Attention的核心在于其创新的处理方式：参考点（Reference Points）作为关键元素，预先计算并固定，offsets由query通过线性层生成，Attention权重由query通过线性变换和Softmax函数确定。而在Value计算上，输入特征图通过位置选择，结合参考点和offset，实现精确特征提取。最后，Attention权重与Value的乘积经过Linear层，得出最终输出。

       在Decoder部分，Self-Attention模块关注对象查询，Cross-Attention则在对象查询与编码器输出间进行交互，生成包含物体特征的query。输入包含了query、值（编码器特征图）、位置编码、padding mask、参考点、空间形状等信息，输出则是每层decoder的object query和更新后的参考点。

       简化后的代码，突出了关键部分的处理逻辑，如Encoder使用Deformable Attention替换传统的Self Attention，输入特征map经过处理后，参考点的初始化和归一化操作确保了模型的高效性能。Decoder中的注意力机制和输入输出细节，都展现出模型灵活且精准的检测能力。

       Deformable DETR的设计巧妙地融合了Transformer的灵活性和Transformer架构的效率，为目标检测任务提供了全新的解决方案，展现出了其在实际应用中的优越性。

融合CFPNet的EVC-Block改进YOLO的太阳能电池板缺陷检测系统

       随着太阳能电池板的广泛应用，对其质量和性能的要求也越来越高。然而，由于生产过程中的各种因素，太阳能电池板上可能存在各种缺陷，如裂纹、污染、烧结不良等。这些缺陷会降低太阳能电池板的效率和寿命，因此及早发现和修复这些缺陷对于保证太阳能电池板的性能至关重要。传统的太阳能电池板缺陷检测方法主要依赖于人工视觉检查，这种方法效率低下、成本高昂且容易出错。因此，研究开发一种自动化的太阳能电池板缺陷检测系统具有重要的意义。

       近年来，深度学习技术在计算机视觉领域取得了巨大的突破，特别是目标检测领域，YOLO（You Only Look Once）算法以其高效的检测速度和准确的检测结果而备受关注。然而，传统的YOLO算法在太阳能电池板缺陷检测中存在一些问题，如对小尺寸缺陷的检测不够准确，对于复杂背景下的缺陷检测效果较差等。为了解决这些问题，本研究提出了一种改进的YOLO算法，即融合CFPNet的EVC-Block改进YOLO的太阳能电池板缺陷检测系统。该系统将CFPNet的EVC-Block结构引入到YOLO算法中，以提高对小尺寸缺陷的检测准确性，并通过引入注意力机制来增强对复杂背景下缺陷的检测能力。

       具体而言，该系统首先使用CFPNet对太阳能电池板图像进行预处理，提取出关键特征。然后，利用EVC-Block结构对特征进行进一步的增强和压缩，以提高检测的准确性和效率。最后，通过YOLO算法进行目标检测，识别出太阳能电池板上的缺陷。该系统的研究意义主要体现在以下几个方面：通过融合CFPNet的EVC-Block改进YOLO算法，提高了太阳能电池板缺陷检测的准确性、速度和适应性，有助于提高太阳能电池板的质量和性能，促进太阳能产业的发展。

       在数据集的采集与标注过程中，首先收集所需的，可以通过TYBDatasets等公开数据集获取。使用图形化的图像注释工具labelImg，将标注为VOC格式，然后使用labelImg将标注信息保存到XML文件中。通过Python脚本将VOC格式转换为YOLO所需的txt格式，整理数据文件夹结构，确保训练、验证和测试数据集的正确分类与标注。

       模型训练过程中，程序文件EVCBlock.py、LVC.py、Mlp.py和train.py分别实现了EVCBlock、LVC、Mlp和模型训练的逻辑。ui.py文件构建了图形用户界面，包括标签、标签框和文本浏览器，用于显示缺陷种类和数量。models\common.py文件包含了通用的模块，用于构建模型结构。通过训练程序train.py，模型可以在自定义数据集上进行训练，并进行多GPU分布式训练以提高效率。

       特征金字塔网络(CFPNet)通过引入全局显式的中心特征调节，能够更好地捕捉全局长距离依赖关系和局部角落区域特征，提高目标检测性能。EVC-Block结构的引入，使得YOLOv5能够更好地适应太阳能电池板缺陷检测的需求，提高对小尺寸缺陷的检测准确性，并增强对复杂背景下的缺陷检测能力。

       系统整体结构包括输入图像、CNN骨干网络、显式视觉中心、全局中心化调节和用于目标检测的解耦头网络等组件，通过融合CFPNet的EVC-Block改进YOLOv5的方法，系统能够实现更全面、差异化的特征表示。此外，系统整合了完整源码、数据集、环境部署视频教程和自定义UI界面，为太阳能电池板缺陷检测提供了全面的解决方案。

       参考文献提供了相关研究的背景和成果，如基于YOLOv3的太阳能电池板缺陷检测、基于轻量化卷积神经网络的光伏电池片缺陷检测方法、基于深度卷积自编码网络的小样本光伏热斑识别与定位等，这些文献为本研究提供了理论支持和实践案例。通过融合CFPNet的EVC-Block改进YOLOv5的方法，本系统旨在提高太阳能电池板缺陷检测的准确性和效率，为太阳能产业的发展提供技术支持。

（论文加源码）基于连续卷积神经网络（CNN）（SVM）（MLP）提取脑电微分熵特征的DEAP脑电情绪识别

       在本文中，我们采用连续卷积神经网络（CNN）对DEAP数据集进行脑电情绪识别。主要内容是将脑电信号在频域分段后提取其微分熵特征，构建三维脑电特征输入到CNN中。实验结果表明，该方法在情感识别任务上取得了.%的准确率。

       首先，我们采用5种频率带对脑电信号进行特化处理，然后将其转换为**的格式。接着，我们提取了每个脑电分段的微分熵特征，并对其进行了归一化处理，将数据转换为*N*4*的格式。在这一过程中，我们利用了国际-系统，将一维的DE特征变换为二维平面，再将其堆叠成三维特征输入。

       在构建连续卷积神经网络（CNN）模型时，我们使用了一个包含四个卷积层的网络，每个卷积层后面都添加了一个具有退出操作的全连接层用于特征融合，并在最后使用了softmax层进行分类预测。模型设计时考虑了零填充以防止立方体边缘信息丢失。实验结果表明，这种方法在情感识别任务上表现良好，准确率为.%。

       为了对比，我们还编写了支持向量机（SVM）和多层感知器（MLP）的代码，结果分别为.%和.%的准确率。实验结果表明，连续卷积神经网络模型在DEAP数据集上表现最好。

       总的来说，通过结合不同频率带的信号特征，同时保持通道间的空间信息，我们的三维脑电特征提取方法在连续卷积神经网络模型上的实验结果显示出高效性。与其他相关方法相比，该方法在唤醒和价分类任务上的平均准确率分别达到了.%和.%，取得了最佳效果。

       完整代码和论文资源可以在此获取。

腾讯T2I-adapter源码分析（2）-推理源码分析

       随着stable-diffusion和midjourney展示出AI绘图的惊人潜力，人们对技术进步的惊叹不已。然而，AI绘图的可控性一直是痛点，仅凭描述词控制图像并不尽如人意。为增强AI图像的可控性，Controlnet和T2I-adapter等技术应运而生。本文将通过解析T2I-adapter的推理源码，揭示其工作原理。

       本文将深入剖析推理部分的代码，以便理解T2I-Adapter的实际操作。使用如下的命令行指令进行推理，如test_adapter.py，它需要指定条件类型、深度图路径、前置处理器类型、提示语、模型和缩放尺寸等参数。

       在test_adapter.py中，主要分为参数读取、模型加载和推理运算三个步骤。参数读取部分包括检查支持的条件、构建提示语，以及根据输入选择前置处理。模型加载涉及stable-diffusion和adapter模型，前者通过配置加载，后者根据输入条件构造Adapter模型。

       加载stable-diffusion模型时，代码引用了来自github的CompVis/stable-diffusion库，其中关键部分包括加载参数、模型配置以及UNetModel的改动。Adapter模型的构造与论文中的结构图一致，通过ResnetBlock的组合实现。

       在推理过程中，先对输入进行预处理，如深度图的处理。随后，get_adapter_feature和diffusion_inference两个核心函数调用adapter模型，与stable-diffusion模型结合进行特征融合和采样。最后，DDIM采样器接收并处理adapter特征，最终生成图像。

       通过以上分析，我们逐步揭示了T2I-adapter的推理机制。后续文章将探讨训练代码。在游戏开发中，AI生成游戏角色动作的应用，如AUTOMATIC，展示了这种技术的实际应用，以解决美术资源匮乏的问题。