皮皮网

1.MySQL 核心模块揭秘 | 12 期 | 创建 savepoint
2.MySQL源码阅读1-启动初始化
3.MySQL · 源码分析 · Subquery代码分析
4.MySQL全文索引源码剖析之Insert语句执行过程
5.MySQL XA事务源码分析
6.MySql轻松入门系列——第二站 使用visual studio 对mysql进行源码级调试

MySQL 核心模块揭秘 | 12 期 | 创建 savepoint

       回滚操作，码研除了回滚整个事务，码研还可以部分回滚。码研部分回滚，码研需要保存点（savepoint）的码研协助。本文我们先看看保存点里面都有什么。码研源码插件下载网站

       作者：操盛春，码研爱可生技术专家，码研公众号『一树一溪』作者，码研专注于研究 MySQL 和 OceanBase 源码。码研 爱可生开源社区出品，码研原创内容未经授权不得随意使用，码研转载请联系小编并注明来源

       本文基于 MySQL 8.0. 源码，码研存储引擎为 InnoDB。码研

       InnoDB 的码研事务对象有一个名为undo_no 的属性。事务每次改变（插入、更新、删除）某个表的一条记录，都会产生一条 undo 日志。这条 undo 日志中会存储它自己的序号。这个序号就来源于事务对象的 undo_no 属性。

       也就是说，事务对象的 undo_no 属性中保存着事务改变（插入、更新、删除）某个表中下一条记录产生的 undo 日志的序号。

       每个事务都维护着各自独立的 undo 日志序号，和其它事务无关。

       每个事务的 undo 日志序号都从 0 开始。事务产生的第 1 条 undo 日志的序号为 0，第 2 条 undo 日志的序号为 1，依此类推。卡盟源码2017

       InnoDB 的 savepoint 结构中会保存创建 savepoint 时事务对象的 undo_no 属性值。

       我们通过 SQL 语句创建一个 savepoint 时，server 层、binlog、InnoDB 会各自创建用于保存 savepoint 信息的结构。

       server 层的 savepoint 结构是一个SAVEPOINT 类型的对象，主要属性如下：

       binlog 的 savepoint 结构很简单，是一个 8 字节的整数。这个整数的值，是创建 savepoint 时事务已经产生的 binlog 日志的字节数，也是接下来新产生的 binlog 日志写入 trx_cache 的 offset。

       为了方便介绍，我们把这个整数值称为binlog offset。

       InnoDB 的 savepoint 结构是一个trx_named_savept_t 类型的对象，主要属性如下：

       创建 savepoint 时，server 层会分配一块 字节的内存，除了存放它自己的 SAVEPOINT 对象，还会存放 binlog offset 和 InnoDB 的 trx_named_savept_t 对象。

       server 层的 SAVEPOINT 对象占用这块内存的前 字节，InnoDB 的 trx_named_savept_t 对象占用中间的 字节，binlog offset 占用最后的 8 字节。

       客户端连接到 MySQL 之后，MySQL 会分配一个专门用于该连接的用户线程。

       用户线程中有一个m_savepoints 链表，用户创建的多个 savepoint 通过 prev 属性形成链表，m_savepoints 就指向最新创建的 savepoint。

       server 层创建 savepoint 之前，会按照创建时间从新到老，逐个查看链表中是否存在和本次创建的 savepoint 同名的 savepoint。

       如果在用户线程的最好的源码网站 m_savepoints 链表中找到了和本次创建的 savepoint 同名的 savepoint，需要先删除 m_savepoints 链表中的同名 savepoint。

       找到的同名 savepoint，是 server 层的SAVEPOINT 对象，它后面的内存区域分别保存着 InnoDB 的 trx_named_savept_t 对象、binlog offset。

       binlog 是个老实孩子，乖乖的把 binlog offset 写入了 server 层为它分配的内存里。删除同名 savepoint 时，不需要单独处理 binlog offset。

       InnoDB 就不老实了，虽然 server 层也为 InnoDB 的 trx_named_savept_t 对象分配了内存，但是 InnoDB 并没有往里面写入内容。

       事务执行过程中，用户每次创建一个 savepoint，InnoDB 都会创建一个对应的 trx_named_savept_t 对象，并加入 InnoDB 事务对象的 trx_savepoints 链表的末尾。

       因为 InnoDB 自己维护了一个存放 savepoint 结构的链表，server 层删除同名 savepoint 时，InnoDB 需要找到这个链表中对应的 savepoint 结构并删除，流程如下：

       InnoDB 从事务对象的 trx_savepoints 链表中删除 trx_named_savept_t 对象之后，server 层接着从用户线程的 m_savepoints 链表中删除 server 层的SAVEPOINT 对象，也就连带着清理了 binlog offset。

       处理完查找、删除同名 savepoint 之后，server 层就正式开始创建 savepoint 了，这个过程分为 3 步。

       第 1 步，binlog 会生成一个 Query_log_event。

       以创建名为test_savept 的 savepoint 为例，这个 event 的ubuntu下载android源码内容如下：

       binlog event 写入 trx_cache 之后，binlog offset 会写入 server 层为它分配的 8 字节的内存中。

       第 2 步，InnoDB 创建 trx_named_savept_t 对象，并放入事务对象的 trx_savepoints 链表的末尾。

       trx_named_savept_t 对象的 name 属性值是 InnoDB 的 savepoint 名字。这个名字是根据 server 层为 InnoDB 的 trx_named_savept_t 对象分配的内存的地址计算得到的。

       trx_named_savept_t 对象的savept 属性，是一个 trx_savept_t 类型的对象。这个对象里保存着创建 savepoint 时，事务对象中 undo_no 属性的值，也就是下一条 undo 日志的序号。

       第 3 步，把 server 层的 SAVEPOINT 对象加入用户线程的 m_savepoints 链表的尾部。

       server 层会创建一个SAVEPOINT 对象，用于存放 savepoint 信息。

       binlog 会把binlog offset 写入 server 层为它分配的一块 8 字节的内存里。

       InnoDB 会维护自己的 savepoint 链表，里面保存着trx_named_savept_t 对象。

       如果 m_savepoints 链表中存在和本次创建的 savepoint 同名的 savepoint， 创建新的 savepoint 之前，server 层会从链表中删除这个同名的 savepoint。

       server 层创建的 SAVEPOINT 对象会放入m_savepoints 链表的末尾。

       InnoDB 创建的 trx_named_savept_t 对象会放入事务对象的trx_savepoints 链表的末尾。

MySQL源码阅读1-启动初始化

       通过深入阅读MySQL源码，旨在学习并记录其内核知识。初次探索难免有错误或遗漏，欢迎指正，并期待在后续阅读中对笔记进行修正。

       MySQL的启动初始化是关键步骤，涉及核心逻辑与执行流程。跟单ea 源码关注的入口函数位于`mysql-server-8.0/sql/mysqld.cc::mysqld_main`。

       初始化阶段主要关注点包括启动MySQL中的线程，负责执行各种任务。MySQL在初始化时启动的线程种类多样，确保数据管理、查询执行与系统功能高效运作。

       调用链显示了初始化过程中的函数调用关系，每个缩进代表一个函数调用，清晰地展示了初始化的执行流程。

       总结而言，MySQL服务的初始化步骤复杂且关键，但通常不在日常关注范围内。初次阅读可能存在疏漏，期待在后续阅读中深入探索初始化与终止阶段的代码细节，持续优化理解。

MySQL · 源码分析 · Subquery代码分析

       子查询在MySQL中的处理方式，主要涉及到其在条件/投影中的应用。它们以Item_subselect这个表达式类的子类形式存在，描述结构丰富多样。所有子查询在MySQL中以Item_subselect为基类，包含相关或非相关的类型，且具有特定的标记来描述其性质。子查询的执行方式在Subquery_strategy枚举中被明确，共有五种最终执行方式。处理流程分为prepare、optimize和execute三个阶段。在prepare阶段，子查询通过抽象语法树进行初步构建，主要完成将子查询转换为衍生表或选择性执行的逻辑。optimize阶段根据代价估算决定子查询的执行策略，包括物化执行或EXISTS方式。execute阶段，依据优化阶段确定的策略执行子查询。总结而言，子查询的处理流程在MySQL中较为复杂，特别是在prepare阶段的转换逻辑，但整体处理思路清晰。通过这种方式，MySQL能够高效地处理子查询，实现数据查询和分析的复杂需求。

MySQL全文索引源码剖析之Insert语句执行过程

       本文来源于华为云社区，作者为GaussDB数据库，探讨了MySQL全文索引源码中Insert语句的执行过程。

       全文索引是一种常用于信息检索的技术，它通过倒排索引实现，即单词和文档的映射关系，如(单词，(文档，偏移))。以创建一个表并在opening_line列上建立全文索引为例，插入'Call me Ishmael.'时，文档会被分为'call', 'me', 'ishmael'等单词，并记录在全文索引中。

       全文索引Cache的作用类似于Change Buffer，用于缓存分词结果，避免频繁刷盘。Innodb使用fts_cache_t结构来管理cache，每个全文索引的表都会在内存中创建一个fts_cache_t对象。

       Insert语句的执行分为三个阶段：写入行记录阶段、事务提交阶段和刷脏阶段。写入行记录阶段生成doc_id并写入Innodb的行记录，并将doc_id缓存。事务提交阶段对文档进行分词，获取{ 单词，(文档，偏移)}关联对，并插入到cache。刷脏阶段后台线程将cache刷新到磁盘。

       全文索引的并发插入可能导致OOM问题，可通过修复patch #解决。当MySQL进程崩溃时，fts_init_index函数会恢复crash前的cache数据。

MySQL XA事务源码分析

       事务类型外部 XA PREPARE 流程

       省流版：

       详细版：

       外部 XA COMMIT 过程

       省流版：

       详细版：

       外部 XA 2PC 阶段 Log 落盘顺序

       ------------------- XA PREPARE START -------------------------

       ------------------- XA PREPARE END -------------------------

       .

       .

       .

       .

       .

       .

       ------------------- XA COMMIT START -------------------------

       ------------------- XA COMMIT END -------------------------

       本地事务 commit 流程

       省流版

       与外部 XA PREPARE 2PC 的不同

       与外部 XA COMMIT 的不同

       详细版：

       ------------------- PREPARE START -------------------------

       ------------------- PREPARE END -------------------------

       ------------------- COMMIT START -------------------------

       ------------------- COMMIT END -------------------------

       外部 XA ROLLBACK 流程

       省流版（Not Prepared Rollback 和 Prepared Rollback 的不同之处）

       详细版

       Not Prepared Rollback（在 end - prepare 之间 rollback）

       Prepared Rollback（在 prepare 之后 rollback）

       外部 XA RECOVERY 流程

       省流版

       详细版

       本地事务 RECOVERY 流程

       省流版

       详细版

       为什么只遍历最后一个binlog文件：

       rotate 到新的 binlog 文件前，redo log 强制落盘，因此redo commit记录会落盘，保证老的binlog文件没有正在提交的事务

MySql轻松入门系列——第二站 使用visual studio 对mysql进行源码级调试

       在探索MySQL世界的过程中，有些同学希望更深入地了解如何在Visual Studio中进行源码级调试。不用担心，让我们一步步来。

       必备工具

       MySQL是用C++编写的，要在Windows上编译，需要几个关键工具：CMake用于生成可打开的解决方案，如MySQL.sln；Boost是强大的C++库，Bison是用于解析MySQL语法规则的工具；当然，选择适合自己版本的MySQL源码（如5.7.）也是必不可少的。

       详细安装步骤

       安装过程需要细心，特别是Bison，务必避免默认路径中的空格问题，以免后续VS编译受阻。安装CMake和Bison时选择自定义路径，例如C:\2\GnuWin，确保它们的bin文件路径被添加到环境变量中。接下来解压mysql-5.7..zip，构建项目。

       编译与调试

       使用CMake编译MySQL源码，当看到Build files written to: C:/2/mysql-5.7./brelease，说明成功生成.sln文件。用Visual Studio 打开MySql.Sln，耐心等待十几分钟，编译成功后即可进行下一步。

       启动MySQL并调试

       首先，开启MySQL的调试模式，修改mysqld.cc中的test_lc_time_sz方法。然后，在Visual Studio的命令行参数中加入--console --initialize，开始调试。可能会遇到编码问题，解决后，输入默认密码zJDE>IC5o+ya，连接到MySQL并修改密码。

       追踪write_row

       在上一篇中提到的write_row是一个虚方法，通过实际调试，我们可以看到它在ha_innodb.cc的实现。设置断点，执行insert操作，可以看到代码进入ha_innodb::write_row方法，深入查看局部变量和调用堆栈，验证之前的理论。

       总结

       通过一整天的努力，我们掌握了在Visual Studio中对MySQL源码进行调试的技巧。记住，每一步都可能是个挑战，但只有亲自动手，才能真正理解MySQL的运作机制。希望这些经验能帮助你避免一些常见的坑，祝你在源码的世界里探索得更深入！

MySQL源码下载及安装步骤mysql下载源码

       MySQL源码下载及安装步骤

       MySQL是一款完全开源的关系型数据库管理系统，广泛应用于各种应用程序中，例如Web应用程序和企业级解决方案。在使用MySQL时，通常除了可以直接安装二进制包版本之外，还可以下载MySQL源码并手动编译安装。在本文中，我们将介绍MySQL源码下载及安装步骤。

       第一步：下载MySQL源码

       需要到MySQL官方网站（/downloads/mysql/）下载最新的MySQL源码包。MySQL官方网站提供了多个不同的版本，可以根据需要选择合适的版本。例如，对于Linux系统，可以选择.tar.gz格式的源码包进行下载。

       第二步：解压MySQL源码

       下载完毕之后，就需要解压MySQL源码包。可以使用以下命令解压：

       $ tar zxvf mysql-x.x.x.tar.gz

       其中，mysql-x.x.x.tar.gz是下载得到的源码包的名称。解压过程可能需要几分钟的时间，具体时间因系统配置不同而有所不同。

       第三步：安装依赖库

       在编译安装MySQL的时候，需要依赖很多的库文件。这时，需要首先安装这些依赖库：

       $ sudo apt-get install build-essential autoconf automake libtool m4 make gcc g++ libncurses5 libncurses5-dev zlib1g-dev libssl-dev libcurl4-openssl-dev libxml2-dev gettext

       第四步：配置源码

       在完成依赖库安装之后，接下来需要对MySQL源码进行配置。可以使用以下命令执行源码配置：

       $ cd mysql-x.x.x

       $ cmake .

       $ make

       其中，第一条命令进入MySQL源码的目录，第二条命令进行配置，第三条命令则是编译源码。

       第五步：安装MySQL

       经过第四步编译，就可以执行以下安装命令：

       $ sudo make install

       这样就完成了MySQL的安装。在安装过程中，会提示输入MySQL的相关配置信息，例如root密码等。安装完成后，可以使用以下命令启动MySQL服务：

       $ sudo systemctl start mysql

       为了避免每次手动启动服务，还可以设置MySQL为系统服务并设置为开机启动：

       $ sudo systemctl enable mysql

       总结

       在这篇文章中，我们介绍了从MySQL官网下载最新的MySQL源码，然后解压、配置源码并安装MySQL的步骤。要注意的是，在安装MySQL时会提示输入一些配置信息，例如root密码等，需要仔细填写。通过这些步骤，我们可以既熟悉MySQL源码的编译与安装，同时也能更好地对MySQL进行深入了解。