1.[推理部署]👉Mac源码编译TensorFlow C++指北
2.使用FastBuild给UnrealEngine编译Shader加速
3.为什么unreal虚幻引擎源码编译如此慢,加速加速有方法改进吗?
4.UE 打包引擎源码
5.Tensorflow 编译加速器 XLA 源码深入解读
6.Docker源码安装附内网镜像安装演示
[推理部署]👉Mac源码编译TensorFlow C++指北
在Mac环境下编译TensorFlow C++源码，需要完成以下步骤，源码源码源码引擎以避免可能的搭建编译问题，确保顺利构建。关于
首先，使用确认系统环境满足要求。安装源码笔记用户模型需有Xcode和Command Line Tools，加速加速JDK 1.8.0版本以支持编译过程中所需的源码源码源码引擎Java环境，以及Bazel工具，搭建TensorFlow依赖此工具进行编译。关于特别注意Bazel版本需与TensorFlow对应，使用如TensorFlow 1.对应Bazel 0..1。安装
接下里，加速加速安装依赖，源码源码源码引擎包括JDK和Bazel。搭建JDK安装时需检查电脑中是否已安装，并确保正确安装。使用HomeBrew安装Bazel，通过命令行接受协议，并使用`--user`指令确保安装在个人目录的`bin`文件夹下，同时设置`.bazelrc`路径为`$HOME/.bazelrc`。
安装自动化工具`automake`和使用Python3.7.5在虚拟环境中构建TensorFlow C++源码。推荐使用清华镜像源加速`pip`的安装过程。通过`git clone`方式下载TensorFlow源码，确保checkout至r1.分支。调整域名映射以提升`git clone`速度。
进行编译选项配置，通常在TensorFlow文件夹内运行命令，根据提示选择默认选项。
开始编译TensorFlow，此过程可能需要较长时间，完成后，应在`bazel-bin/tensorflow`目录下找到编译好的`libtensorflow_cc.so`和`libtensorflow_framework.1.dylib`文件。
若遇到`Undefined symbols for architecture x_: “_CFRelease”`错误，这通常与创建软连接有关，无需特别处理。若需要手动安装额外依赖库，如Eigen3，可参考相关指南。file hash源码
编译完成后，可对C++接口进行测试，验证编译过程的正确性。通常情况下，Mac下的TensorFlow 1. C++源码编译完成。
最后，编译TFLite，生成的动态链接库将保存在指定目录下。在`CMakelists.txt`文件中增加对应配置项，以完成TFLite的构建。
总结而言，Mac下TensorFlow 1. C++源码编译及TFLite的构建，需要遵循上述步骤，并确保环境与工具版本的兼容性，以顺利进行编译过程。Linux系统下的编译方式相似，但具体细节可能有所不同。
使用FastBuild给UnrealEngine编译Shader加速
提升Unreal Engine Shader编译速度的实操指南 使用FastBuild加速编译Shader，优化流程，从环境搭建到具体配置，详细步骤如下： 1. 下载并安装FastBuild 前往FastBuild官网，下载适用于Windows平台的FastBuild可执行文件，解压后获得FBuild.exe和FBuildWorker.exe。 2. 替换引擎目录文件 将FBuild.exe和FBuildWorker.exe复制到`Engine\Extras\ThirdPartyNotUE\FASTBuild\Win`目录下，替换现有文件。 3. 创建网络共享文件夹 创建一个网络共享文件夹，确保所有参与编译的机器都能访问。步骤如下图所示。 4. 配置环境变量 在系统变量中添加`FASTBUILD_BROKERAGE_PATH`，值为创建的网络路径。 5. 运行测试联机环境 确认网络文件夹是否可访问。运行`FBuildWorker.exe`，界面应显示网络文件夹中的发起机IP，并检查网络路径中是否存在发起机IP的文件。 6. 开启Shader编译 在项目`DefaultEngine.ini`中添加配置以开启Shader编译。 7. 远程机配置 将FBuild.exe和FBuildWorker.exe拷贝至远程机，确保添加环境变量`FASTBUILD_BROKERAGE_PATH`与发起机一致。远程机运行`FBuildWorker.exe`，arms指标源码确认连接成功。 8. 运行Shader编译 打开项目Shader编译开关，直接运行编译Shader。如需测试，删除`DerivedDataCache`文件夹，确保Shader编译。 进阶步骤 根据需要，调整编译参数，限制CPU使用量，开启编译缓存，使用更多远程机加速编译。 编译UE4项目代码 如果需要编译UE4项目代码，需修改FastBuild源码。下载源码，配置环境变量和路径，使用命令行编译FastBuild，确保所有配置与编译Shader一致。 开启编译代码Cache 通过调整`BuildConfiguration.xml`文件，启用编译缓存，显著提升编译速度。 进阶优化 限制本地编译代码的核心数，避免CPU负载过高。利用编译缓存和更多远程机，提高整体编译效率。 使用FBDashboard监控 启动FBDashboard.exe，查看编译进度、使用资源等详细信息，便于调整优化。 结语 通过上述实操指南，可有效利用FastBuild加速Shader及UE4项目代码编译。如有疑问或建议，欢迎在下方留言交流。为什么unreal虚幻引擎源码编译如此慢,有方法改进吗?
为何虚幻引擎源码编译过程缓慢？确实，许多开发者在使用虚幻引擎时，会遇到编译时间过长的问题，这可能对项目进度造成影响。幸运的是，存在多种策略帮助优化编译速度。强力指标源码首先，考虑使用IncrediBuild、FastBuild或Horde等工具，它们能显著提升编译效率。请确保所购买的许可证支持当前处理器的核心数量，否则加速效果受限。
其次，性能卓越的CPU是关键。选择高性能CPU将直接影响编译速度。请注意，CPU的性能直接影响编译加速效果，购买CPU时，务必检查与当前硬件匹配的许可证类型。
将引擎源码与项目放入固态硬盘能显著提升读取和写入速度，加速编译过程。SSD的高速性能可极大地减少编译时间，提高开发效率。
第三，禁用项目中不必要的插件也能有效缩短编译时间。每个插件都会增加编译负担，因此，精简配置能提高编译效率。
在Windows 操作系统下，遇到使用小核而非大核的情况时，可以尝试使用Process Lasso工具。此工具有助于调整CPU使用策略，确保大核得到充分利用。然而，在Windows 系统上，这一问题通常不会出现。
综上所述，通过优化硬件选择、利用编译加速工具、改进项目配置以及合理管理CPU使用策略，开发者可以有效提升虚幻引擎源码的编译速度，从而加速项目开发进程。
UE 打包引擎源码
本文作为个人记录使用。
1. 获取引擎源码：在GitHub上下载对应版本源码（需订阅虚幻引擎并与你的半年指标源码虚拟引擎账号关联）。安装Microsoft Visual Studio，建议选择读写速度较快的硬盘，并预留足够空间。官方文档：docs.unrealengine.com/4...
unrealengine.com/zh-CN/...
运行setup.bat开始下载，可加参数加速下载（--threads=N表示用N个线程加速下载）。网速慢时，可能需要更长时间。
完成下载后，运行GenerateProjectFiles.bat生成解决方案。
2. 构建源码：编译源码时，可适当修改源码hh。具体操作可参考官方文档：docs.unrealengine.com/4...
记得先Build AutomationTool。
我下载了Windows SDK：developer.microsoft.com...（VS中的可能还不够，猜测）。
再次Build时，遇到一个问题：
我采取的有效方法：在HoloLensTargetPlatform.Build.cs中添加了一行参数bEnableUndefinedIdentifierWarnings = false;
3. 开始打包：通过cmd执行RunUAT.bat，等待打包完成。顺利的话，将在/引擎目录/LocalBuilds/Engine下找到打包好的包。我的路径是：E:\UnrealEngine-4..2-release\Engine\Build\BatchFiles\RunUAT.bat，参数：BuildGraph -target="Make Installed Build Win" -script=Engine/Build/InstalledEngineBuild.xml -clean。
详细的脚本选项可参考官方文档：docs.unrealengine.com/4...
接下来就开踩。安装vs时遇到错误，后来发现不用下载，修改参数即可。我使用的是vs，不知道vs是否可行。
这种就是配置对应的环境。想必后面还有ERROR: Platform IOS is not a valid platform to build，我都学会抢答了（安装ios环境需要apple id，我没有）。
因为我并不需要打包其他平台，所以修改了参数，仅打包支持Window平台的BuildGraph -target="Make Installed Build Win" -script=Engine/Build/InstalledEngineBuild.xml -set:WithWin=true -set:WithWin=true -set:WithMac=false -set:WithAndroid=false -set:WithIOS=false -set:WithTVOS=false -set:WithLinux=false -set:WithLinuxAArch=false -set:WithLumin=false -set:WithLuminMac=false -set:WithHoloLens=false -set:WithClient=true -set:WithServer=true -set:VS=true -clean。
打包成功提示succeed。
其他：blog.csdn.net/qq_... store.algosyntax.com/tu... UE4使用BuildGraph构建二进制版本虚幻引擎 docs.unrealengine.com/4... Android SDK的下载与安装 cnblogs.com/KisonDu/p/1... iOS和tvOS开发要求 打包插件必须安装vs ? github.com/EpicGames/Un...
Tensorflow 编译加速器 XLA 源码深入解读
XLA是Tensorflow内置的编译器，用于加速计算过程。然而，不熟悉其工作机制的开发者在实践中可能无法获得预期的加速效果，甚至有时会导致性能下降。本文旨在通过深入解读XLA的源码，帮助读者理解其内部机制，以便更好地利用XLA的性能优化功能。
XLA的源码主要分布在github.com/tensorflow/tensorflow的多个目录下，对应不同的模块。使用XLA时，可以采用JIT（Just-In-Time）或AOT（ Ahead-Of-Time）两种编译方式。JIT方式更为普遍，对用户负担较小，只需开启一个开关即可享受到加速效果。本文将专注于JIT的实现与理解。
JIT通过在Tensorflow运行时，从Graph中选择特定子图进行XLA编译与运行，实现了对计算图的加速。Tensorflow提供了一种名为JIT的使用方式，它通过向Tensorflow注册多个优化PASS来实现这一功能。这些优化PASS的执行顺序决定了加速效果。
核心的优化PASS包括但不限于EncapsulateXlaComputationsPass、MarkForCompilationPass、EncapsulateSubgraphsPass、BuildXlaOpsPass等。EncapsulateXlaComputationsPass负责将具有相同_xla_compile_id属性的算子融合为一个XlaLaunch，而XlaLaunch在运行时将子图编译并执行。
AutoClustering则自动寻找适合编译的子图，将其作为Cluster进行优化。XlaCompileOp承载了Cluster的所有输入和子图信息，在运行时通过编译得到XlaExecutableClosure，最终由XlaRunOp执行。
在JIT部分，关键在于理解和实现XlaCompilationCache::CompileStrict中的编译逻辑。此过程包括两步，最终结果封装在XlaCompilationResult和LocalExecutable中，供后续使用。
tf2xla模块负责将Tensorflow Graph转化为XlaCompilationResult（HloModuleProto），实现从Tensorflow到XLA的转换。在tf2xla中定义的XlaOpKernel用于封装计算过程，并在GraphCompiler::Compile中实现每个Kernel的计算，即执行每个XlaOpKernel的Compile。
xla/client模块提供了核心接口，用于构建计算图并将其转换为HloModuleProto。XlaBuilder构建计算图的结构，而XlaOpKernel通过使用这些基本原语描述计算过程，最终通过xla_builder的Build方法生成HloComputationProto。
xla/service模块负责将HloModuleProto编译为可执行的Executable。该过程涉及多个步骤，包括LLVMCompiler的编译和优化，最终生成适合特定目标架构的可执行代码。此模块通过一系列的优化pass，如RunHloPasses和RunBackend，对HloModule进行优化和转换，最终编译为目标代码。
本文旨在提供XLA源码的深度解读，帮助开发者理解其工作机制和实现细节。如有问题或疑问，欢迎指正与交流，共同探讨和学习。期待与您在下一篇文章中再次相遇。
Docker源码安装附内网镜像安装演示
系统版本要求源码包下载
官网下载地址（download.docker.com/lin...）
我这里已docker-...tgz该版本做演示
1.下载源码包文件到本地
2.通过远程连接工具（xShell、SecureCRT等将源码包文件上载到服务器自定义目录）
3.解压文件
4.配置docker为service服务
5.添加可执行权限
注：如遇到启动不成功可通过状态查询、/var/log/messages/运行日志或直接使用dockerd命令查看错误信息，如还解决不了建议服务器重启一下在运行docker启动命令
6.配置镜像加速
7.检查安装版本内网下载镜像
注：使用docker pull拉取镜像的时候需要网络，但是项目部署一般都是在内网。内网访问不了外网，所以需要在外网环境下把需要的镜像拉取下来打包，然后拷贝到内网，载入到内网的docker
1.在外网机器上拉取mysql镜像，可以看到外网的docker已经拉取了镜像。
2.将镜像打包成tar压缩包
3.将打包好的mysql镜像包通过远程工具下载到本地
4.拷贝到内网linux服务器并载入docker
docker基础命令使用（扩展）下载镜像：(hub.docker.com/search/官网镜像地址)
docker pull [IMAGE_NAME]:[TAG] #命令格式
docker pull mysql:8.0 #下载mysql8.0镜像（不指定默认下载最新版本）
查看当前镜像版本
docker -v #查看当前安装版本
docker version #查看版本信息
docker info #查看系统信息
docker images #查看当前镜像
docker search 镜像名 #搜索镜像
镜像、容器删除
docker rm 容器ID
docker rm 容器名字
docker rmi 镜像ID
docker rmi 镜像名
docker rmi -f 镜像ID #强制删除
创建网络及数据卷
docker volume create +数据卷名称
docker volume list #查看当前数据卷信息
docker network create -d bridge +网络名称
docker network ls #查看当前网络
docker inspect containername +id #查看容器的hash值
启动、关闭容器
docker stop $(docker ps -a | awk '{ print $1}' | tail -n +2) #关闭所有容器
docker start $(docker ps -a | awk '{ print $1}' | tail -n +2) #开启所有容器
杂
docker inspect 容器ID （使用该命令重点关注容器ip） #查看容器/镜像元数据
docker exec #在运行的容器中执行命令
docker exec -it 容器ID /bin/bash #以交互模式开启伪终端
FasterTransformer Decoding 源码分析(三)-LayerNorm介绍
本文深入探讨FasterTransformer中LayerNormalization（层归一化）的源码实现与优化。作为深度学习中的关键技术，层归一化可确保网络中各层具有相似的分布，从而加速训练过程并改善模型性能。背景介绍部分详细解释了层归一化的工作原理，强调其在神经网络中的高效并行特性与广泛应用。文章从代码起点开始剖析，具体路径位于解码过程的核心部分。调用入口展示了传入参数，包括数据描述和关键参数gamma、beta、eps，简洁直观，符合公式定义。深入源码的解析揭示了优化点，特别是针对特定数据类型和维度，使用了定制化内核。此设计针对高效处理半精度数据样本，减少判断指令，实现加速运算，且对偶数维度数据进行调整以最大化Warp特性利用。接下来，内核实现的详细描述，强调了通过共享内存与block、warp级归约实现公式计算的高效性。这部分以清晰的代码结构和可视化说明，解释了块级别与Warp级归约在单个块处理多个数据点时的协同作用，以及如何通过巧妙编程优化数据处理效率。文章总结了FasterTransformer中LayerNormalization的整体优化策略，强调了在CUDA开发中基础技巧的应用，并指出与其他优化方案的比较。此外，文章还推荐了OneFlow的性能优化实践，为读者提供了一个深入探索与对比学习的资源。
Python 提速大杀器之 numba 篇
在探讨提高Python性能的策略时，我们往往面临一个困境：Python的易用性与执行效率之间的平衡。一方面，Python以其简洁的语法和丰富的库支持而受到欢迎；另一方面，它在执行速度上相对较低，尤其是当涉及到大量循环和复杂计算时。对于开发者而言，寻找既能提升性能又不失Python简洁性的解决方案成为了一大挑战。在这个背景下，Numba应运而生，它为Python提供了一种加速代码执行的途径，特别是对于密集型的循环操作。
首先，我们需要理解Python为何在执行效率上不如C++。Python是一种解释性语言，它的执行过程分为词法分析、语法分析、生成字节码以及将字节码解释为机器码执行四个阶段。这种解释执行的方式虽然带来了解析速度快、易于调试的优点，但也意味着每次运行时都需要将源代码转化为字节码，从而消耗额外的时间。相比之下，编译性语言如C++在编译阶段将源代码转换为机器码，减少了运行时的解释开销，因此执行速度更快。
然而，Python的动态特性在一定程度上弥补了执行效率的不足。它不需要显式声明变量类型，这种灵活性带来了代码的简洁性，同时也减少了编译时的类型检查开销。尽管如此，对于需要高性能计算的任务，Python的解释执行过程仍然是一个瓶颈。
正是在这样的背景下，Numba横空出世。Numba通过将Python代码编译为可直接在机器上执行的机器码，实现了对Python代码的加速。它采用了一种称为“即时编译（Just-in-time compilation, JIT）”的技术，即在代码执行时动态地将部分Python函数编译为机器码，从而实现加速效果。这种技术的引入，使得Numba能够在保持Python代码的可读性和易用性的同时，显著提升代码的执行速度。
使用Numba加速Python代码的步骤相对简单。一个典型场景是矩阵相加问题，通过使用Numba的装饰器`@jit`，我们可以将普通的Python循环加速至接近C++水平的执行效率。例如，原本的Python代码可能需要几十毫秒来完成矩阵相加操作，而通过Numba加速后，同样的操作可以在微秒级别完成，性能提升几个数量级。
在实际应用中，Numba的使用并不局限于简单的循环加速。对于包含大量循环的密集计算任务，Numba都能提供显著的性能提升。同时，Numba还支持与NumPy库的集成，能够加速NumPy数组的计算。在某些情况下，Numba甚至能够直接编译Python代码到CUDA GPU上运行，进一步提升计算性能，尤其适用于需要在GPU上进行大规模数据处理的场景。
然而，Numba的加速效果并非适用于所有情况。在某些特定场景下，使用Numba可能会引入额外的编译开销，导致性能下降。因此，在使用Numba时，开发者需要根据具体场景进行性能测试，以确保代码在加速后确实能够提升性能。
总的来说，Numba作为Python性能提升的利器，通过即时编译技术，实现了对Python代码的加速，为开发者提供了一种既保留Python语言优势又提升执行效率的途径。无论是针对循环密集型任务还是与NumPy集成加速，Numba都能提供显著的性能提升，成为Python开发者在追求高效计算时的重要工具。
