皮皮网

1.LuaJIT源码分析（二）数据类型
2.PostgreSQL · 源码分析 · 回放分析（一）
3.Python数据分析系列多个dataframe写入同一个excel文件（案例源码）
4.Python数据分析系列将循环生成的数据数据实DataFrame写入同一个Excel文件不同工作表（案例+源码）
5.源码编译和安装 DataEase 开源数据可视化分析工具
6.Python数据分析实战-对DataFrame（Excel）某列的数值进行替换操作（附源码和实现效果）

LuaJIT源码分析（二）数据类型

       LuaJIT，作为Lua的分析分析高性能版本，其源码分析中关于数据类型处理的源码源码细节颇值得研究。它在数据结构的数据数据实定义上与Lua 5.1稍有不同，通过通用的分析分析数据结构TValue来表示各种Lua数据类型，但其复杂性体现在了内含的源码源码培训带证书查询网站源码若干宏上，增加了理解的数据数据实难度。这些宏如LJ_ALIGN、分析分析LJ_GC、源码源码LJ_ENDIAN_LOHI、数据数据实LJ_FR2等，分析分析分别用于内存对齐、源码源码GC模式的数据数据实选择、大小端判断以及浮点数编码格式的分析分析选择。

       LJ_ALIGN宏用于确保struct内存对齐，源码源码以提高内存访问效率。LJ_GC宏在当前平台为位且无强制禁用的情况下生效，表明LuaJIT支持位GC（垃圾回收）模式。LJ_ENDIAN_LOHI宏则根据平台的字节顺序来确定结构的布局，而x平台采用小端序。

       对于TValue结构的定义，通过处理宏后可以简化为一个位的结构体，包含一个union，用于统一表示Lua的各种数据类型。这种设计利用了NaN Boxing技术，即通过在浮点数编码中预留空间来实现不同类型数据的紧凑存储。每个类型通过4位的itype指针来标识，使得数据的解析与存储变得高效。

       对于number数据类型，其值被存储在一个double中，而其他类型如nil、true、false等则利用剩余的空间来标识其类型。这种设计允许LuaJIT在内存中以一种紧凑且高效的方式存储各种数据类型，同时通过简单的位操作就能识别出具体的数据类型。

       对于GC对象（如string、table等），LuaJIT通过特定的itype值来区分它们与普通数据类型，以及与值类型（如nil和bool）和轻量级用户数据的邀请源码系统差异。通过宏判断，LuaJIT能够快速识别出TValue是否为GC对象，以及具体是哪种类型的GC对象。

       在开启LJ_GC模式下，GC对象的地址被存储在TValue的特定字段gcr中，提供位的地址支持。虽然前位用于标识数据类型，但实际使用时仅利用了低位的地址空间，对于大多数实际应用而言，这部分内存已经绰绰有余。

       在GCobj数据结构中，通过union的特性实现不同类型对象的共通性与特定性。GChead提供了通用的接口来获取对象的通用信息，而nextgc、marked等字段用于实现垃圾回收机制。通过gct字段，LuaJIT能够将一个GCObj转换为实际的类型对象，进一步增强了内存管理的灵活性。

       对于整数类型，默认情况下LuaJIT使用double进行存储以确保精度，但在实际应用中，频繁使用的整数通过宏LJ_DUALNUM启用，以int类型存储，提高了数据处理的效率。此时，TValue的i字段用于保存int值，同时通过位移操作确保了数据的正确存储与解析。

PostgreSQL · 源码分析 · 回放分析（一）

       在数据库运行中，可能遇到非预期问题，如断电、崩溃。这些情况可能导致数据异常或丢失，影响业务。为了在数据库重启时恢复到崩溃前状态，确保数据一致性和完整性，我们引入了WAL（Write-Ahead Logging）机制。WAL记录数据库事务执行过程，当数据库崩溃时，c apihook 源码利用这些记录恢复至崩溃前状态。

       WAL通过REDO和UNDO日志实现崩溃恢复。REDO允许对数据进行修改，UNDO则撤销修改。REDO/UNDO日志结合了这两种功能。除了WAL，还有Shadow Pagging、WBL等技术，但WAL是主要方法。

       数据库内部，日志管理器记录事务操作，缓冲区管理器负责数据存储。当崩溃发生，恢复管理器读取事务状态，回放已提交数据，回滚中断事务，恢复数据库一致性。ARIES算法是日志记录和恢复处理的重要方法。

       长时间运行后崩溃，可能需要数小时甚至数天进行恢复。检查点技术在此帮助，将脏数据刷入磁盘，记录检查点位置，确保恢复从相对较新状态开始，同时清理旧日志文件。WAL不仅用于崩溃恢复，还支持复制、主备同步、时间点还原等功能。

       在记录日志时，WAL只在缓冲区中记录，直到事务提交时等待磁盘写入。LSN（日志序列号）用于管理，只在共享缓冲区中检查。XLog是事务日志，WAL是持久化日志。

       崩溃恢复中，checkpointer持续做检查点，礼品转盘源码加快数据页面更新，提高重启恢复速度。在回放时，数据页面不断向前更新，直至达到特定LSN。

       了解WAL格式和包含信息有助于理解日志内容。PG社区正在实现Zheap特性，改进日志格式。WAL文件存储在pg_wal目录下，大小为1GB，与时间线和LSN紧密关联。事务日志与WAL段文件相关联，根据特定LSN可识别文件名和位置。

       使用pg_waldump工具可以查看日志内容，理解一次操作记录。日志类型包括Standby、Heap、Transaction等，对应不同资源管理器。PostgreSQL 包含种资源管理器类型，涉及堆元组、索引、序列号操作。

       标准记录流程包括：读取数据页面到frame、记录WAL、进行事务提交。插入数据流程生成WAL，复杂修改如索引分裂需要记录多个WAL。

       崩溃恢复流程从控制文件中获取检查点位置，严格串行回放至崩溃前状态。redo回放流程与记录代码高度一致。在部分写问题上，FullPageWrite（FPW）策略记录完整数据页面，防止损坏。WAL错误导致部分丢失不影响恢复，数据库会告知失败。磁盘静默错误和内存错误需通过冗余校验解决。

       本文总结了数据库崩溃恢复原理，网游源码网以及PostgreSQL日志记录和崩溃恢复实现。深入理解原理可提高数据库管理效率。下文将详细描述热备恢复和按时间点还原（PITR）方法。

Python数据分析系列多个dataframe写入同一个excel文件（案例源码）

       本文演示如何使用Python的pandas库将多个DataFrame写入同一个Excel文件中，每个DataFrame作为独立的sheet。通过以下步骤实现：

       首先，创建两个DataFrame df1 和 df2。然后指定Excel文件路径为"dataframes.xlsx"。使用pd.ExcelWriter()创建ExcelWriter对象，通过to_excel()方法将df1和df2写入Excel文件的不同sheet中，分别命名为Sheet1和Sheet2。最后，运行代码后，会在指定路径下生成包含两个sheet的"dataframes.xlsx"文件。

       运行示例代码，你将看到在指定路径下生成的"dataframes.xlsx"文件，该文件包含df1和df2的数据。

       本文由一位在读研期间发表6篇SCI数据算法相关论文的作者撰写，目前在某研究院从事数据算法研究工作。作者致力于只做原创，以简单易懂的方式分享Python、数据分析、特征工程、机器学习、深度学习和人工智能等基础知识与案例。关注公众号"数据杂坛"，获取更多内容。

       原文链接：Python数据分析系列多个dataframe写入同一个excel文件（案例源码）

Python数据分析系列将循环生成的DataFrame写入同一个Excel文件不同工作表（案例+源码）

       本文将探讨如何在Python数据分析中，通过循环生成DataFrame，并将其存储在同一个Excel文件的不同工作表中。以下是具体实现的步骤和一个实例。

       案例与代码实现

       首先，假设你有一个数据处理循环，每次循环都会生成一个新的DataFrame。要将这些DataFrame写入名为"output.xlsx"的Excel文件的不同工作表，可以按照以下代码进行操作:

       python

       import pandas as pd

       # 假设你的DataFrame生成函数是generate_df

       for i in range(1, 6): # 假设你有5次循环

        df = generate_df(i) # 每次生成一个新DF

        df.to_excel('output.xlsx', sheet_name=f'Sheet{ i}', index=False) # 将DF写入指定工作表

       这段代码会将每次生成的DataFrame分别写入output.xlsx的Sheet1到Sheet5工作表中。

       作者简介

       作为一名数据算法研究者，我曾在读研期间发表过6篇SCI论文，目前致力于数据分析相关工作。我分享的内容以简单易懂的方式涵盖了Python、数据分析、机器学习等领域的基础知识和案例。如果你需要数据和源码，欢迎关注并与我联系，获取更多实用教程和分享。

源码编译和安装 DataEase 开源数据可视化分析工具

       DataEase 是一款开源的数据可视化分析工具，它助力用户高效分析数据，洞察业务趋势，进而优化业务。这款工具支持众多数据源连接，用户可以轻松拖拽制作图表，并实现便捷的资源共享。本文将介绍如何通过源码编译的方式，安装 DataEase 1..0 版本。

       首先，连接安装好的 MySQL 数据库，为 DataEase 创建数据库和用户。请注意，MySQL 8 默认不允许客户端获取公钥，因此在内网环境下，您可以通过配置 allowPublicKeyRetrieval=true 来绕过此限制。

       您可以使用以下命令验证数据库和用户创建成功：

       接下来，克隆 DataEase 源码。DS 的源码地址为 github.com/dataease/dat...，您可以将源码 Fork 到自己的 Git repositories 中，以维护个人项目。

       Fork 成功后，使用 git clone 命令克隆 DataEase 项目到您的本地，并切换到 main 分支。

       使用 Intelli IDEA 打开克隆好的 DataEase 项目。DataEase 采用前后端分离的开发模式，后端服务和前端页面可独立部署。以下为三个重要的目录介绍：

       修改 pom.xml 文件。在 backend/pom.xml 文件中，将 mysql-connector-java 的 runtime 删除。因为我们使用 MySQL 8 作为 DataEase 元数据库，需要使用 mysql-connector-java 这个 jar 包连接 MySQL。

       编译运行。切换到 backend 目录下，使用 IDEA 执行 Maven 命令进行编译。成功后，会在 backend/target/ 目录下生成后端服务 jar 文件：backend-1..0.jar。执行相应命令运行后端服务，并使用 jps 命令验证服务启动成功。

       编译前端。切换到 frontend 目录下，执行编译命令。编译移动端。切换到 mobile 目录下，执行编译命令。编译完成后，各自 target 目录下会生成编译好的 dist 目录。

       使用安装好的 Nginx 进行部署。修改 Nginx 配置文件 nginx.conf，并启动 Nginx。

       通过浏览器登录 DataEase，默认用户名/密码为：demo/dataease。

       参考文档：dataease.io/docs/dev_ma... toutiao.com/article/...

Python数据分析实战-对DataFrame（Excel）某列的数值进行替换操作（附源码和实现效果）

       实现功能：

       本文将展示如何在Python中使用pandas库对DataFrame（Excel）中的某列数值进行替换操作，并提供相关源码和实现效果，旨在帮助您掌握数据处理技巧。

       代码分为以下两种情况：

       1、将A列的数值进行直接替换，例如将A列中的1替换为，3替换为，4替换为

       代码示例：

       python

       import pandas as pd

       # 加载Excel文件

       df = pd.read_excel('data.xlsx')

       # 直接替换A列数值

       df['A'] = df['A'].replace({ 1:, 3:, 4:})

       # 保存替换后数据

       df.to_excel('updated_data.xlsx', index=False)

       2、将A列的数值进行替换为新的数值（新建新的一列），例如新建E列，将A列中替换为1

       代码示例：

       python

       import pandas as pd

       # 加载Excel文件

       df = pd.read_excel('data.xlsx')

       # 创建新列并替换A列数值

       df['E'] = df['A'].replace({ :1})

       # 保存替换后数据

       df.to_excel('updated_data.xlsx', index=False)

       实现效果：

       上述代码执行后，将对原始数据文件进行处理，将指定列的特定数值替换为新的数值，并生成更新后的数据文件。通过替换操作，您可以快速调整数据，满足数据分析和处理需求。

Flink深入浅出：JDBC Connector源码分析

       大数据开发中，数据分析与报表制作是日常工作中最常遇到的任务。通常，我们通过读取Hive数据来进行计算，并将结果保存到数据库中，然后通过前端读取数据库来进行报表展示。然而，使用FlinkSQL可以简化这一过程，通过一个SQL语句即可完成整个ETL流程。

       在Flink中，读取Hive数据并将数据写入数据库是常见的需求。本文将重点讲解数据如何写入数据库的过程，包括刷写数据库的机制和原理。

       以下是本文将讲解的几个部分，以解答在使用过程中可能产生的疑问：

       1. 表的定义

       2. 定义的表如何找到具体的实现类（如何自定义第三方sink）

       3. 写入数据的机制原理

       （本篇基于1..0源码整理而成）

       1. 表的定义

       Flink官网提供了SQL中定义表的示例，以下以oracle为例：

       定义好这样的表后，就可以使用insert into student执行插入操作了。接下来，我们将探讨其中的技术细节。

       2. 如何找到实现类

       实际上，这一过程涉及到之前分享过的SPI（服务提供者接口），即DriverManager去寻找Driver的过程。在Flink SQL执行时，会通过translate方法将SQL语句转换为对应的Operation，例如insert into xxx中的xxx会转换为CatalogSinkModifyOperation。这个操作会获取表的信息，从而得到Table对象。如果这个Table对象是CatalogTable，则会进入TableFactoryService.find()方法找到对应的实现类。

       寻找实现类的过程就是SPI的过程。即通过查找路径下所有TableFactory.class的实现类，加载到内存中。这个SPI的定义位于resources下面的META-INFO下，定义接口以及实现类。

       加载到内存后，首先判断是否是TableFactory的实现类，然后检查必要的参数是否满足（如果不满足会抛出异常，很多人在第一次使用Flink SQL注册表时，都会遇到NoMatchingTableFactoryException异常，其实都是因为配置的属性不全或者Jar报不满足找不到对应的TableFactory实现类造成的）。

       找到对应的实现类后，调用对应的createTableSink方法就能创建具体的实现类了。

       3. 工厂模式+创建者模式，创建TableSink

       JDBCTableSourceSinkFactory是JDBC表的具体实现工厂，它实现了stream的sinkfactory。在1..0版本中，它不能在batch模式下使用，但在1.版本中据说会支持。这个类使用了经典的工厂模式，其中createStreamTableSink负责创建真正的Table，基于创建者模式构建JDBCUpsertTableSink。

       创建出TableSink之后，就可以使用Flink API，基于DataStream创建一个Sink，并配置对应的并行度。

       4. 消费数据写入数据库

       在消费数据的过程中，底层基于PreparedStatement进行批量提交。需要注意的是提交的时机和机制。

       控制刷写触发的最大数量 'connector.write.flush.max-rows' = ''

       控制定时刷写的时间 'connector.write.flush.interval' = '2s'

       这两个条件先到先触发，这两个参数都是可以通过with()属性配置的。

       JDBCUpsertFunction很简单，主要的工作是包装对应的Format，执行它的open和invoke方法。其中open负责开启连接，invoke方法负责消费每条数据提交。

       接下来，我们来看看关键的format.open()方法：

       接下来就是消费数据，执行提交了

       AppendWriter很简单，只是对PreparedStatement的封装而已

       5. 总结

       通过研究代码，我们应该了解了以下关键问题：

       1. JDBC Sink执行的机制，比如依赖哪些包？（flink-jdbc.jar，这个包提供了JDBCTableSinkFactory的实现）

       2. 如何找到对应的实现？基于SPI服务发现，扫描接口实现类，通过属性过滤，最终确定对应的实现类。

       3. 底层如何提交记录？目前只支持append模式，底层基于PreparedStatement的addbatch+executeBatch批量提交

       4. 数据写入数据库的时机和机制？一方面定时任务定时刷新，另一方面数量超过限制也会触发刷新。

       更多Flink内容参考：

Python数据分析实战-实现T检验（附源码和实现效果）

       T检验是一种用于比较两个样本均值是否存在显著差异的统计方法。广泛应用于各种场景，例如判断两组数据是否具有显著差异。使用T检验前，需确保数据符合正态分布，并且样本方差具有相似性。T检验有多种变体，包括独立样本T检验、配对样本T检验和单样本T检验，针对不同实验设计和数据类型选择适当方法至关重要。

       实现T检验的Python代码如下：

       python

       import numpy as np

       import scipy.stats as stats

       # 示例数据

       data1 = np.array([1, 2, 3, 4, 5])

       data2 = np.array([2, 3, 4, 5, 6])

       # 独立样本T检验

       t_statistic, p_value = stats.ttest_ind(data1, data2)

       print(f"T统计量：{ t_statistic}")

       print(f"显著性水平：{ p_value}")

       # 根据p值判断差异显著性

       if p_value < 0.:

        print("两个样本的均值存在显著差异")

       else:

        print("两个样本的均值无显著差异")

       运行上述代码，将输出T统计量和显著性水平。根据p值判断，若p值小于0.，则可认为两个样本的均值存在显著差异；否则，认为两者均值无显著差异。

       实现效果

       根据上述代码，执行T检验后，得到的输出信息如下：

       python

       T统计量：-0.

       显著性水平：0.

       根据输出结果，T统计量为-0.，显著性水平为0.。由于p值大于0.，我们无法得出两个样本均值存在显著差异的结论。因此，可以判断在置信水平为0.时，两个样本的均值无显著差异。