1.天啦噜！剪刀剪刀在家和爱豆玩"剪刀石头布"，石头石阿里工程师如何办到？

天啦噜！布h布在家和爱豆玩"剪刀石头布"，源码源码阿里工程师如何办到？

       如今，下载、剪刀剪刀黄金趋势通达信指标源码后一代成为消费主力，石头石补贴、布h布打折、源码源码优惠等“价格战”已很难建立起忠诚度，下载如何与年轻人建立更深层次的剪刀剪刀情感共鸣？互动就是一种很好的方式，它能让用户更深度的石头石参与品牌/平台呈现的内容，提供更深层的布h布参与感，提升用户对品牌/平台的源码源码认同感和满意度。

       阿里妹导读：基于此，下载阿里巴巴搜索事业部和浙江大学宋明黎教授团队联合打造了手淘视频互动平台(AliPlayStudio)，旨在在线上和线下场景中让用户互动。该平台接入了阿里集团内天猫品牌、阿里影业、listisempty方法源码优酷IP、淘宝网红，行业营销等各类资源，以新颖的视频化互动方式，利用用户对明星、红人、IP、新奇的玩法所产生的好奇心及聚众心理，创造全新的AI互动营销方式。同时，结合权益发放、店铺加粉、商品推荐等手段，将互动用户自然转化为真正的消费者。

       下面以年双期间上线的“明星猜拳PK”互动为例，展示互动技术背后的秘密。结合了人像语义切割、用户年龄/性别预测的神兽28源码年天猫黑5“刷脸”活动，以及人脸融合的玩法，还有基于实时人体关键点检测的《西虹市首富》宣发互动玩法，以及和“黄小鹿”互动大屏在线下商场部署的“明星合图”活动，展示了如何通过互动技术与用户建立情感联系。

       为了打造AliPlayStudio视频互动平台，我们从基础图像算法能力到系统层面的端上模型推理加速、客户端native实现(视频、，Camera多输入源渲染)、H5玩法模块化等，做了大量研发工作。本文主要介绍图像算法这块的研发工作。

       在端上互动用到的手势识别、POSE检测、人像语义切割等能力，涉及计算机视觉分类、检测、语义切割几个核心问题。paddlepaddle源码解析随着近几年深度学习的发展，目前这些任务比较好的解法都是基于深度学习方法。我们的业务场景(手淘)要求模型一般能够大规模部署到手机和低性能的嵌入式设备上。这些任务尽管解决的Pipeline不一样，都会面临一个共性的问题：设计一个面向低性能平台的轻量级高效神经网络，并且能在 cpu、gpu、dsp等混合环境有高效的实现部署、运行，让网络在保持不错的性能下，尽量降低计算代价和带宽需求。

       在神经网络加速方面，目前业界常用的一些方法有网络减支和参数共享、网络量化、知识蒸馏以及模型结构优化等。关于剪枝方面的研究在大模型上做的比较多，效果也比较好。但是odrive源码分析我们模型的backbone一般是采用MobileNet/ShuffleNet这类很小的网络，剪枝在小网络上精度损失比较大，加速收益比不高。目前我们主要采用模型结构优化和知识蒸馏来提升网络性能。

       我们研发的视觉互动基础算法能力中，人脸识别、人脸关键点检测，用户年龄性别预测等是已经有较好解决方案的任务，人像语义切割、手势识别、人体关键点识别、图像风格化、人脸融合这几个目前业界还没有成熟方案的任务。我们的工作重点也主要投入在后面几个任务上。

       人像语义切割：图像语义分割任务(Semantic Segmentation)根据物体的不同类别进行像素级别的标记。针对人这个特殊的类别，Human Parsing将人的各个部位(脸部/头发/四肢等)进行像素级别的区分。我们分别从数据、模型、框架优化三面着手，整体提升分割效果和体验。

       猜拳游戏：手势识别：年双期间我们在手淘上线了“明星猜拳大战”玩法，受到用户大量好评。这是业界首次在手机端上实现的实时猜拳玩法。需要从用户视频的每一帧中找到手的位置，对其进行分类，这也就是目标检测要做的事情。我们从模型架构、主干网络、特征融合、损失函数、数据等层面进行了全方位的优化，保证游戏能够在大部分移动端上都能够正常运行。

       人体关键点检测：人体关键点检测任务是针对RGB或视频输入，检测其中人物的头、颈、肩、腕、肘、髋、膝、踝等骨骼关键点。我们借鉴了语义分割中的Encoder-Decoder模型，引入MobileNet系列轻量级网络作为backbone提取高层语义信息，然后decoder使用转置卷积进行上采样恢复稠密输出，同时也使用了open pose工作的PAF(Part Affinity Fields)模块进行两路输出预测。

       图像风格化：图像风格化算法的目标是在保持内容图的高级语义信息不变的情况下，将风格图的风格迁移到内容图。我们设计了一个笔触金字塔结构，通过笔触金字塔（StrokePyramid），把整个网络划分为了很多不同笔触分支，下面的分支通过在前一分支的基础上增加卷积层的方式获得了更大的感受，并利用不同的感受野，使用不同尺度大小的风格图进行训练，之后通过在特征空间进行笔触特征插值（stroke interpolation），来实现任意的连续笔触大小控制。

       人脸融合：人脸融合是将用户自拍的人脸与模板图的人脸进行融合，融合以后，模板图的人脸呈现出用户人脸的五官特征与脸型轮廓，并保持原模板图的发饰、穿着，以此达到以假乱真的效果。我们的方法获得了完善的用户脸部关键点，在尽可能保持用户五官脸部形状的同时，利用关键点插值对其进行变换，保证了五官的和谐，同时，针对用户不同的脸型，如圆脸、尖脸，对模板图进行了变换，使得融合后得到的结果与用户更加相似。我们利用皮肤在颜色空间上的特征值，采用预定义的LUT(LookUpTable)，将用户的肤色与模特肤色进行了统一，并有效处理了高光的问题，使得低质量的也能够得到良好的融合效果。

       总结：从年3月份以来，我们以活动营销的方式，在手机淘宝app内拍立淘、扫一扫、搜索等产品落地了十多场视觉互动IP营销活动。新鲜的AI互动技术结合有趣的创意，受到用户好评，引发在微博等平台上大量自发参与、传播讨论。同时，我们也与线下互动大屏场景鹿合作，其线下拍照互动产品“黄小鹿”部署在全国各大商场。我们为其提供了基础的人像语义切割等能力，从年8月份开始陆续上线了健乐多、弹个车、婚博会糖类、贝壳租房等品牌宣传活动以及双十一天猫线下快闪店、万圣节等活动。我们通用互动提炼，进行平台化沉淀，让更多的品牌，尤其是中小品牌能够通过平台快速配置产出一套AI互动营销活动，再借助其站外推广资源引导用户回流，提升活动参与热度，赢得平台内更多推广资源。我们既能给品牌客户提供强有力的营销抓手，实现“财丁两旺”，又能为平台带来用户增量，从而实现双赢。