皮皮网

1.Pytorch深入剖析 | 1-torch.nn.Module方法及源码
2.图文剖析 big.js 四则运算源码
3.二十年重回首——CIH病毒源码分析
4.3d稀疏卷积——spconv源码剖析（三）
5.blockly源码之扩展原生积木开发
6.Bert4keras开源框架源码解析（一）概述

Pytorch深入剖析 | 1-torch.nn.Module方法及源码

       torch.nn.Module是源码神经网络模型的基础类，大部分自定义子模型（如卷积、部分池化或整个网络）均是源码其子类。torch.nn.Parameter是部分继承自torch.tensor的子类，用以表示可训练参数。源码定义Module时，部分ADM源码可以使用个内置方法，源码例如add_module用于添加子模块，部分children和named_children用于获取子模块，源码modules和named_modules用于获取所有模块，部分register_parameter用于注册参数，源码parameters和named_parameters用于获取参数，部分get_parameter用于获取指定参数等。源码Module还支持数据格式转换，部分如float、源码double、half和bfloat，以及模型的设备移动，如cpu、cuda和xpu。训练模式调整可以通过train和eval方法实现。模型参数的梯度可以使用zero_grad方法清零。

       模型的前向传播由forward方法定义，而apply方法允许应用特定函数到模型的所有操作符上。模型状态可以通过state_dict和load_state_dict方法进行保存和加载，常用于保存模型参数。此外，模型可以设置为训练模式或评估模式，影响特定模块如Dropout和BatchNorm的行为。

       在PyTorch中，hook方法用于在前向和反向传播过程中捕获中间变量。注册hook时，可以使用torch.Tensor.register_hook针对张量注册后向传播函数，lniux手游源码torch.nn.Module.register_forward_hook针对前向传播函数，torch.nn.Module.register_forward_pre_hook用于在前向传播之前修改输入张量，以及torch.nn.Module.register_backward_hook用于捕获中间层的梯度输入和输出。

       通过这些方法，开发者可以灵活地调整、监控和优化神经网络模型的行为，从而实现更高效、更精确的模型训练和应用。利用hook方法，用户可以访问中间变量、修改输入或输出，以及提取特征图的梯度，为模型的定制化和深入分析提供了强大的工具。

图文剖析 big.js 四则运算源码

       big.js是一个小型且高效的JavaScript库，专门用于处理任意精度的十进制算术。

       在常规项目中，算术运算可能会导致精度丢失，从而影响结果的准确性。big.js正是为了解决这一问题而设计的。与big.js类似的库还有bignumber.js和decimal.js，它们同样由MikeMcl创建。

       作者在这里详细阐述了这三个库之间的区别。big.js是最小、最简单的任意精度计算库，它的方法数量和体积都是最小的。bignumber.js和decimal.js存储值的进制更高，因此在处理大量数字时，它们的速度会更快。对于金融类应用，bignumber.js可能更为合适，因为它能确保精度，除非涉及到除法操作。api聊天接口源码

       本文将剖析big.js的解析函数和加减乘除运算的源码，以了解作者的设计思路。在四则运算中，除法运算最为复杂。

       创建Big对象时，new操作符是可选的。构造函数中的关键代码如下，使用构造函数时可以不带new关键字。如果传入的参数已经是Big的实例对象，则复制其属性，否则使用parse函数创建属性。

       parse函数为实例对象添加三个属性，这种表示与IEEE 双精度浮点数的存储方式类似。JavaScript的Number类型就是使用位二进制格式IEEE 值来表示的，其中位用于表示3个部分。

       以下分析parse函数转化的详细过程，以Big('')、Big('0.')、Big('e2')为例。注意：Big('e2')中e2以字符串形式传入才能检测到e，Number形式的Big(e2)在执行parse前会被转化为Big()。

       最后，Big('')、Big('-0.')、Big('e2')将转换为...

       至此，parse函数逻辑结束。接下来分别剖析加减乘除运算。

       加法运算的源码中，k用于保存进位的值。上面的过程可以用图例表示...

       减法运算的源码与加法类似，这里不再赘述。减法的algol源码转为basic核心逻辑如下...

       减法的过程可以用图例表示，其中xc表示被减数，yc表示减数...

       乘法运算的源码中，主要逻辑如下...

       描述的是我们以前在纸上进行乘法运算的过程。以*为例...

       除法运算中，对于a/b，a是被除数，b是除数...

       注意事项：big.js使用数组存储值，类似于高精度计算，但它是在数组中每个位置存储一个值，然后对每个位置进行运算。对于超级大的数字，big.js的算术运算可能不如bignumber.js快...

       在使用big.js进行运算时，有时没有设置足够大的精度会导致结果不准确...

       总结：本文剖析了big.js的解析函数和四则运算源码，用图文详细描述了运算过程，逐步还原了作者的设计思路。如有不正确之处或不同见解，欢迎各位提出。

二十年重回首——CIH病毒源码分析

       CIH病毒源码分析

       随着双十一的临近，我在考虑为自己的电脑添置一块NVME协议的固态硬盘。然而，我发现自己老款主板并不支持NVME协议。在探索解决方案时，我偶然回想起了CIH病毒，一款曾引起巨大破坏的古老病毒。出于好奇，我决定深入分析CIH源码，回顾那段历史，并分享分析过程与心得。

       CIH源码在GitHub上能找到，版本1.4。源码的编写者习惯良好，代码中包含了功能更新的仿谷歌界面源码时间和具体细节。时间线如下：

       1.0版于年4月日完成，基本功能实现，代码长度字节。

       1.1版于5月日完成，增加了操作系统判断，若为WinNT则不执行病毒，长度字节。

       1.2版于5月日，加入删除BIOS和破坏硬盘功能，长度字节。

       1.3版于5月日，修复了感染WinZIP自解压文件的错误，长度字节。

       1.4版于5月日，彻底修复错误，长度字节。

       CIH病毒于年7月日在美国大面积传播，8月日全球蔓延，引发公众恐慌。最终，病毒作者陈盈豪公开道歉，提供了解毒程序和防毒软件，病毒逐渐被控制。

       源码的第一部分是PE文件头，用于符合PE文件格式，确保Windows识别和执行。接下来，病毒开始运行，通过修改SEH（Structured Exception Handling）来识别操作系统类型。如果为WinNT或之后版本，病毒将自行产生异常并停止运行。

       病毒通过修改中断描述符表，获得Ring0权限。然而，在WinNT操作系统中，这种方法已失效。因此，修改SEH的目的是判断当前操作系统，以避免在非Win9x系统上感染。

       病毒在Win9x系统中，通过修改中断描述符表，将异常处理函数指向病毒自定义的MyExceptionHook。病毒利用此函数安装系统调用钩子，当执行文件操作时，会运行到病毒代码中。

       病毒在MyExceptionHook中，通过dr0寄存器记录病毒安装状态，分配系统内存，并将病毒代码复制到内存中。之后，病毒安装钩子，当有文件读写调用时，会执行病毒代码。

       当系统调用参数为关闭文件时，病毒进行时间判断，直到每月日，统一开始破坏BIOS和硬盘。破坏BIOS的方法包括映射BIOS内容、设置BIOS可写性。硬盘破坏则通过VXD驱动调用命令。

       综上所述，CIH病毒利用了Win9x系统的漏洞，通过修改SEH和中断描述符表进入内核，安装系统调用钩子，感染文件并在特定时间执行破坏操作。然而，其在WinNT及后续系统上的感染能力已失效。尽管如此，CIH病毒的源码和分析过程对了解历史和安全漏洞仍具有重要价值。

3d稀疏卷积——spconv源码剖析（三）

       构建Rulebook

       下面看ops.get_indice_pairs，位于：spconv/ops.py

       构建Rulebook由ops.get_indice_pairs接口完成

       get_indice_pairs函数具体实现：

       主要就是完成了一些参数的校验和预处理。首先，对于3d普通稀疏卷积，根据输入shape大小，kernel size，stride等参数计算出输出输出shape，子流行稀疏卷积就不必计算了，输出shape和输入shape一样大小

       准备好参数之后就进入最核心的get_indice_pairs函数。因为spconv通过torch.ops.load_library加载.so文件注册,所以这里通torch.ops.spconv.get_indice_pairs这种方式来调用该函数。

       算子注册：在src/spconv/all.cc文件中通过Pytorch提供的OP Register(算子注册的方式)对底层c++ api进行了注册，可以python接口形式调用c++算子

       同C++ extension方式一样，OP Register也是Pytorch提供的一种底层扩展算子注册的方式。注册的算子可以通过 torch.xxx或者 tensor.xxx的方式进行调用，该方式同样与pytorch源码解耦，增加和修改算子不需要重新编译pytorch源码。用该方式注册一个新的算子，流程非常简单：先编写C++相关的算子实现，然后通过pytorch底层的注册接口（torch::RegisterOperators），将该算子注册即可。

       构建Rulebook实际通过python接口get_indice_pairs调用src/spconv/spconv_ops.cc文件种的getIndicePairs函数

       代码位于：src/spconv/spconv_ops.cc

       分析getIndicePairs直接将重心锁定在GPU逻辑部分，并且子流行3d稀疏卷积和正常3d稀疏卷积分开讨论，优先子流行3d稀疏卷积。

       代码中最重要的3个变量分别为：indicePairs，indiceNum和gridOut，其建立过程如下：

       indicePairs代表了稀疏卷积输入输出的映射规则，即Input Hash Table 和 Output Hash Table。这里分配理论最大的内存，它的shape为{ 2,kernelVolume,numAct}，2表示输入和输出两个方向，kernelVolume为卷积核的volume size。例如一个3x3x3的卷积核，其volume size就是(3*3*3)。numAct表示输入有效(active)特征的数量。indiceNum用于保存卷积核每一个位置上的总的计算的次数，indiceNum对应中的count

       代码中关于gpu建立rulebook调用create_submconv_indice_pair_cuda函数来完成，下面具体分析下create_submconv_indice_pair_cuda函数

       子流线稀疏卷积

       子流线稀疏卷积是调用create_submconv_indice_pair_cuda函数来构建rulebook

       在create_submconv_indice_pair_cuda大可不必深究以下动态分发机制的运行原理。

       直接将重心锁定在核函数：

       prepareSubMGridKernel核函数中grid_size和block_size实则都是用的整形变量。其中block_size为tv::cuda::CUDA_NUM_THREADS,在include/tensorview/cuda_utils.h文件中定义，大小为。而grid_size大小通过tv::cuda::getBlocks(numActIn)计算得到,其中numActIn表示有效(active)输入数据的数量。

       prepareSubMGridKernel作用：建立输出张量坐标(通过index表示)到输出序号之间的一张哈希表

       见：include/spconv/indice.cu.h

       这里计算index换了一种模板加递归的写法，看起来比较复杂而已。令：new_indicesIn = indicesIn.data()，可以推导得出index为：

       ArrayIndexRowMajor位于include/tensorview/tensorview.h，其递归调用写法如下：

       接着看核函数getSubMIndicePairsKernel3：

       位于：include/spconv/indice.cu.h

       看：

       上述写法类似我们函数中常见的循环的写法，具体可以查看include/tensorview/kernel_utils.h

       NumILP按默认值等于1的话，其stride也是gridDim.x*blockDim.x。索引最大值要小于该线程块的线程上限索引blockDim.x * gridDim.x，功能与下面代码类似：

       参考： blog.csdn.net/ChuiGeDaQ...

blockly源码之扩展原生积木开发

       在Scratch的需求无法满足的情况下，对它进行二次开发升级成为了一个必要选择。然而，我们发现涉及积木部分的代码编译混淆，可读性极低，这使得升级变得困难。因此，我们决定深入学习研究Blockly，这可以看作是Scratch的祖先，同时通过体验Blockly游戏并分析源码，我们增加了对 Blockly的理解。

       在盲目阅读源码时，可能会陷入困惑，所以设定几个简单的开发任务来加深对Blockly源码的理解，是明智之举。尽管网上关于Blockly的资料相对较少，可能是因为这一领域相对冷门，我们决定分享自己的学习研究心得，供有共同兴趣的朋友参考和借鉴。接下来，我们来分享如何在Blockly源码开发中扩展原生积木。

       扩展原生积木的步骤其实相对简单，主要涉及四个关键部分：

       1. **积木定义**：这部分位于blocks目录下，通过定义积木的外观和功能。

       2. **积木对应的脚本语言**：在generators目录下，这部分代码决定了积木如何在代码中被解释和执行。

       3. **积木显示标题及多语言信息**：msg目录下负责管理积木的显示名称和多语言支持。

       4. **积木运行显示**：修改tests/playground.html文件以调整积木的显示和行为。

       如有任何疑问或需要进一步的交流，欢迎随时留言或私信。

Bert4keras开源框架源码解析（一）概述

       Bert4keras是苏剑林大佬开源的一个文本预训练框架，相较于谷歌开源的bert源码，它更为简洁，对理解BERT以及相关预训练技术提供了很大的帮助。

       源码地址如下：

       代码主要分为三个部分，分别在三个文件夹中。

       在bert4keras文件夹中，实现了BERT以及相关预训练技术的算法模型架构。examples文件夹则是基于预训练好的语言模型进行的一系列fine-tune实验任务。pretraining文件夹则负责从头预训练语言模型的实现。

       整体代码结构清晰，主要分为以下几部分：

       backend.py文件主要实现了一些自定义组件，例如各种激活函数。这个部分之所以命名为backend（后端），是因为keras框架基于模块化的高级深度学习开发框架，它并不仅仅依赖于一种底层张量库，而是对各种底层张量库进行高层模块封装，让底层库负责诸如张量积、卷积等操作。例如，底层库可能选择TensorFlow或Theano。

       在layers.py文件中，实现了自定义层，如embedding层、多头自注意力层等。

       optimizers.py文件则实现了优化器的定义。

       snippets.py文件包含了与算法模型无关的辅助函数，例如字符串格式转换、文件读取等。

       tokenizers.py文件负责分词器的实现。

       而model.py文件则是框架的核心，实现了BERT及相关预训练模型的算法架构。

       后续文章将详细解析这些代码文件，期待与大家共同进步。