TensorRT-LLM（持续更新）

       TRT-LLM（NVIDIA官方支持）是一款用于在NVIDIA GPU平台上进行大模型推理部署的工具。

       其整体流程是软件将LLM构建为engine模型，支持多种大模型，技术如单机单卡、公司单机多卡（NCCL）、源码有限多机多卡，软件企业网站源码 高档以及量化（8/4bit）等功能。技术

       TRT-LLM的公司runtime支持chat和stream两种模式，并支持python和cpp（可以直接使用cpp，源码有限也可以使用cpp的软件bybind接口）两种模式的runtime。

       构建离线模型可以通过example下的技术各个模型的build.py实现，而运行模型则可通过example下的公司run.py进行。

       TRT-LLM默认支持kv-cache，源码有限支持PagedAttention，软件支持flashattention，技术支持MHA/MQA/GQA等。

       在cpp下，TRT-LLM实现了许多llm场景下的高性能cuda kernel，并基于TensorRT的plugin机制，支持各种算子调用。

       与hugging face transformers（HF）相比，TRT-LLM在性能上提升2~3倍左右。

       TRT-LLM易用性很强，可能与其LLM模型结构比较固定有关。

       TRT-LLM的weight_only模式仅仅压缩模型体积，计算时依旧是dequant到input.dtype做计算。

       TRT-LLM的量化：W4A（表示weight为4bit，输入数据即activation为fp）。

       LLM模型推理，性能损耗大头在data 搬移，java 打印自身源码即memory bound，compute bound占比较少。

       TRT-LLM运行时内存可以通过一下参数调整，使用适合当前业务模型的参数即可。

       TRT-LLM对于Batch Manager提供了.a文件，用于支持in-flight batching of requests，来较小队列中的数据排队时间，提高GPU利用率。

       当前支持（0.7.1）的模型如下：

       tensorrt llm需要进行源码编译安装，官方提供的方式为通过docker进行安装。

       docker方式编译可以参考官方文档，此处做进一步说明。使用docker方式，会将依赖的各种编译工具和sdk都下载好，后面会详细分析一下docker的编译过程。

       编译有2种包，一种是仅包含cpp的代码包，一种是cpp+python的wheel包。

       docker的整个编译过程从如下命令开始：调用make，makefile在 docker/Makefile 下面，里面主要是调用了docker命令来进行构建。

       后续非docker方式编译llm，也是基于上述docker编译。

       一些小技巧：在编译llm过程中，会通过pip install一些python包，llm脚本中默认使用了NVIDIA的源，我们可以替换为国内的源，速度快一些。

       整个过程就是码上涨粉源码将docker file中的过程拆解出来，直接执行，不通过docker来执行。

       编译好的文件位于：build/tensorrt_llm-0.5.0-py3-none-any.whl。

       默认编译选项下的一些编译配置信息如下：

       以官方样例bloom为例：bloom example

       核心在于：编译时使用的环境信息和运行时的环境信息要一致，如：python版本，cuda/cudnn/nccl/tensorrt等。

       环境安装后以后，参考官方bloom样例，进行模型下载，样例执行即可。

       最终生成的engine模型：

       以chatglm2-6b模型为基础，进行lora微调后，对模型进行参数合并后，可以使用tensortrt-llm的example进行部署，合并后的模型的推理结果和合并前的模型的推理结果一致。

       lora的源码不在赘述，主要看一下lora模型参数是如何合并到base model中的：

       lora模型如下：

       base模型如下：

       模型构建是指将python模型构建为tensort的engine格式的模型。

       整体流程如下：

       整体流程可以总结为：

       可以看出，原理上和模型转换并没有区别，只是实现方式有差异而已。

       pytorch模型参数如何加载在tensortrt-llm中？关于量化参数加载

       1. 先提取fp格式的参数

       2. 调用cpp的实现进行参数量化

       整体而言，模型参数加载的关键在于：算子weight一一对应，拷贝复制。

       每种模型，都需要搭建和pytorch严格一致的模型架构，并将算子weight严格对应的加载到tensortrt-llm模型中

       即：关键点在于：熟悉原始pytorch模型结构和参数保存方式，熟悉tensorrt-llm的模型结构和参数设定方法。

       模型构建成功后，有两个文件：config.json文件推理时会用到，拆翼天使源码主要内容如下：模型参数信息和plugin信息。

       在模型构建好后，就可以做模型推理，推理流程如下：

       TRT-LLM Python Runtime分析

       1. load_tokenizer

       2. parse_input

       基于 tokenizer 对输入的text做分词，得到分词的id

       3. runner选择&模型加载

       4.推理

       5. 内存管理

       TRT-layer实现举例

       （1）对tensorrt的接口调用：以cast算子为例：functional.py是对TensorRT python API接口的调用

       调用tensorrt接口完成一次推理计算

       （2）TRT-LLM python侧对cpp侧的调用

       调到cpp侧后，就会调用cpp侧的cuda kernel

       trtllm更新快，用了一些高版本的python特性，新的trtllm版本在python3.8上，不一定能跑起来

为什么网上有免费的小程序还有人花钱去找人开发小程序

       一、模板套用开发

       该方式是大部分个人和创业者常见选择方式。使用优质的第三方服务商提供的服务是最好的选择，费用不高，每年只需2k-6k，即可实现常见的电商业务。比如商品上架，分类，下单，配送地址，优惠活动，优惠券，砍价，拼团等等功能应有尽有。但基本上都围绕一般电商为主，很适合电商创业的朋友选用。近日，微信官方也推出了“微信小商店”，功能和第三方服务商提供的电子报纸 源码核心功能无二，且完全免费，想要了解的朋友可以私聊我。

       二、自行开发

       选择该方式的大部分是成熟或者不缺钱的公司，服务器，域名，认证费用这些都还是小数目。真正的费用大头是人工成本，以现在市场价格，一名成熟的程序员工资平均是1.5w。开发成员至少需要3名：前端，后台，设计师。若需要开发一款成熟的产品，还需要一位出色的产品经理。但自己产出的应用必然能做到随时更新迭代，而且能把控这个项目的开发质量。但火猫网络认为，若无软件开发的经验，即使自行组建团队，整体的效率和开发的效果还是难以保障的。

       三、外包定制

       该方式适合大部分的创新型创业者。在传统电商创业艰难的现在，新型的创业方式才能提供更好的发展空间和更多的市场，一般的模板是无法满足该类需求的。定制的费用大概是1.5w - 6w，具体的价格需要先了解整体的需求分析，再出具体的报价表。有这类需求的朋友可以咨询火猫网络，必定提供正规合理的报价。但缺点往往也比较明显，若找到的乙方公司契约感不强或技术不过关，把项目做得烂尾，可能造成比较大的损失。且一般的开发时间也比较长，普遍在1-3个月能完工。若需求紧迫需要马上上线，火猫网络推荐使用模板套用开发。

       如果对你有帮助，请不要吝啬你的赞赞赞！

       如果有开发上的疑问，可以私信火猫网络，必定给与合理的建议帮助。

       感谢您的阅读。

在那里可以找到在线制作QQ闪字

       文件包共有五个网站程序：

       一:最新QQ闪字闪图程序源码,带后台管理，可自行添加闪字

       预览地址:

       1.运行环境:ASP+mssql 自带mssql数据库,无需安装。

       2.后台管理地址:/admin,用户名和密码admin

       3.默认保存目录:/temp_img,可自行修改目录,非常方便删除.

       4.生成网址地址修改:/inc/gif.php

       二:网络搞笑证件制作程序

       预览地址:/funny

       1.运行环境:ASP

       2.目录地址:/funny,保存目录/funny/create

       3.收集所有搞笑证件总共个。

       4.新增QQ空间FLASH身份证，非主流认可证等...

       三:在线拍照大头贴Flash程序

       预览地址:/photo

       1.运行环境:ASP+mssql 自带mssql数据库,无需安装。

       2.本程序在不安装摄像头的情况下也能使用。Flash程序检测本地是否安装摄像头，如果检测到安装，则采用摄像头模式，否则采取本地做为像源。

       3.大头贴支持亮度、对比度、饱和度等滤镜调节，其他一般的大头贴程序无此功能

       4.可对大头贴进行放大、缩小操作，以便制作合适的大头贴

       5.丰富的大头贴背景，本程序提供多套漂亮的大头贴背景供使用

       四:邮箱Logo在线制作程序

       预览地址:/email

       1.可选择邮箱文字颜色

       2.可选择LOGO边框颜色，或不使用边框

       3.可以选择文字的字体

       4.默认提供了款精美的邮箱后缀图标，可以自行添加

       5.可以选择不使用图标

       6.制作好的LOGO提供弹出窗口下载功能和分享功能

       7.生成的邮箱LOGO按下载保存。

       五:BT**抓取程序

       预览地址:/bt

       一共有8万多部**，每天自动更新，十分适合懒人站长使用。

       利用torrent信息的平台，任何下载内容都不在本站的服务器上。

       下载地址:最好使用IE浏览器下载

       /

有什么使用了rxjava或rxandroid的开源项目?

       在探索使用了 RxJava 或 RxAndroid 的开源项目时，我们首先可以回顾 GitHub 上的官方资源：ReactiveX/RxJava。这个项目作为 RxJava 的源头，提供了核心库和文档，是学习 RxJava 的重要起点。值得一提的是，中国在 RxJava 领域有着优秀的贡献者，如@hi大头鬼hi，他的教程以其精准性和实用性，对众多学习者提供了巨大帮助。国内的开发者常常将翻译或撰写的资料先请大头鬼审校，可见其权威性之高。

       接下来，我们聚焦到 Flipoard 的扔物线，他的开源库 MaterialEditText 和对 Dagger 源码的解析，都是深入 Android 开发领域的经典之作。虽然扔物线的教程现在可能不在公开博客中发布，但感兴趣的开发者依然可以通过搜索找到相关信息。

       此外，yongjhih 这位台湾开发者同样值得推荐。作为 RxJava 的狂热爱好者，yongjhih 的 GitHub 上积累了丰富的 Examples，为学习者提供了实际操作的参考和灵感。

       在寻找使用了 RxJava 或 RxAndroid 的项目时，上述提到的资源和开发者无疑是很好的起点。然而，阅读这些资料仅是学习的开始，更重要的是实践。动手编写 Demo，将 RxJava 与传统 Android 组件（如 Handler、AsyncTask、BroadcastReceiver 等）结合使用，可以显著加深理解。不断练习，相信自己能够掌握，是学习过程中的关键。

       在这个领域，持续探索、实践和分享是推动技术进步的重要力量。无论是从官方文档开始，还是追随这些知名开发者的学习路径，最终的目标是将理论知识转化为实际能力，解决实际问题。在这个过程中，不断尝试、总结和反思，将带来最大的成长。通过实践和交流，我们可以更加深入地理解 RxJava 或 RxAndroid 的应用场景，从而在项目中发挥它们的独特优势。

ALBERT原理与实践

       ALBERT模型在原理上与BERT类似，但针对BERT的不足进行了改进。尽管它减少了参数量，保持了性能，但主要集中在降低空间复杂度，而非时间复杂度，这使得ALBERT的预测速度并没有显著提升。其主要通过矩阵分解（Factorized embedding parameterization）和跨层参数共享（Cross-layer parameter sharing）两个机制实现参数量的大幅减少，尽管矩阵分解能减少一部分，但真正的大头是跨层共享，它通过共享Self-Attention层的参数来大大降低模型复杂度。

       矩阵分解通过将大维度的embedding矩阵分解为更小的参数E，如E=，以减少参数。例如，中文BERT的参数通过此方法可从M减少到2M左右，但与BERT的M相比，减少效果有限。而跨层参数共享则更关键，通过共享每一层的参数，使得层的参数用一层表示，极大地减少了总参数量。

       ALBERT放弃了NSP任务，转而采用SOP任务进行预训练，以提升下游任务效果。SOP任务简单，旨在判断句子顺序，而非判断句子是否相关，这有助于模型性能的提升。尽管ALBERT降低了参数，但其层Self-Attention结构使得预测速度并未加快，反而在某些情况下，BERT-base的预测速度更快。

       在实践上，使用ALBERT进行下游任务与BERT类似，只需替换模型并调整配置。ALBERT的源码可以从官网获取，通过添加和引用相应的modeling.py和bert_utils.py文件，以及调整config.py中的权重路径，即可进行模型训练。关注公众号阿力阿哩哩的炼丹日常，获取更多专业内容，如果喜欢，请给予支持。