1.容器化|在 S3 备份恢复 RadonDB MySQL 集群数据
2.一体化实时HTAP数据库StoneDB,如何替换MySQL并实现近百倍分析性能的提升
容器化|在 S3 备份恢复 RadonDB MySQL 集群数据
本文将演示如何使用RadonDB MySQL Kubernetes集群进行备份和恢复数据操作,重点关注备份数据至S3存储以及从S3备份恢复集群数据的具体步骤。
首先,需准备一套运行良好的Kubernetes集群。接着,北方天途源码搭建RadonDB MySQL集群。
备份流程分以下几步:下载RadonDB MySQL源码,安装Operator,并创建Deployment。配置备份信息,需提前准备Kubernetes Secret资源信息,针对青云云平台的qingstor对象存储,操作视频提供详细指引。登录青云云平台官网,BFH的源码创建API密钥和S3存储桶,然后创建Kubernetes Secret资源,存放S3对象存储相关信息。
继续进行,将备份数据导入集群,通过创建并启动RadonDB MySQL集群,添加备份配置到mysql_v1a1pha1_mysqlcluster.yaml文件中。在集群运行成功后,执行备份指令,备份文件将被保存至S3存储。
恢复过程从检测S3 bucket并获取备份文件开始。将备份目录设置为yaml文件的restoreFrom属性,执行恢复指令,即可将集群数据从S3备份恢复。github看源码
完成数据恢复后,如需卸载集群,参照《部署文档》的卸载部分执行相应操作。
本文旨在提供RadonDB MySQL集群备份与恢复的完整流程,确保数据在Kubernetes环境下得到高效管理与保护。建议深入阅读相关文档,以获取更详细的配置和操作指导,实现更加稳定、可靠的数据库服务。
一体化实时HTAP数据库StoneDB,如何替换MySQL并实现近百倍分析性能的提升
众所周知,MySQL 是世界上最流行的 OLTP 数据库之一,拥有超过%的市场份额(数据来源:Slintel网站)。许多企业依赖 MySQL 实现业务系统的lr模型源码运行。然而,随着数据量的增长,MySQL 在处理复杂分析任务如 BI 报表、可视化和大数据应用时面临挑战。MySQL 的架构(基于流式迭代器模型 Volcano Iterator 的执行引擎,没有充分利用现代多核 CPU 的并行处理能力,采用按行存储的存储引擎)在 AP 场景中存在天然缺陷。为解决这个问题,业界提出了多种解决方案,主要是围绕 MySQL 建立的异构 HTAP(同时支持事务处理和分析处理)数据库系统。
HTAP 的定义:在年,Gartner 定义 HTAP 旨在打破事务型负载和分析型负载之间的壁垒,允许系统在两个系统之间更自由地流动数据,并基于这些数据进行实时业务决策。免多多源码传统架构中,通过一套事务处理系统加一套分析系统,通过 ETL 进行数据同步,以满足实时性需求,这是当前搭建 HTAP 的主流方案。
业界基于 MySQL 的 HTAP 解决方案:
1. MySQL + Hadoop:将 MySQL 数据通过 ETL 工具同步至开源大数据系统(如 Hive、Hadoop、Spark 等)的数据仓库进行分析。
2. MySQL + 数据湖:通过 ETL 工具将 MySQL 数据同步至数据湖平台,基于数据湖进行数据分析。
3. MySQL + ClickHouse/Greenplum:使用 ETL 工具将 MySQL 数据迁移到 ClickHouse/Greenplum 进行分析。ClickHouse 社区版 MaterializeMySQL 引擎允许将 ClickHouse 作为 MySQL 的从库同步主节点数据。
4. 基于多副本的 Divergent Design:如 TiDB,采用自研列式存储(TiFlash)以响应复杂 AP 查询,并通过智能路由功能自动选取数据源,实现分布式 HTAP 数据库系统。
以上方案存在一些问题,而 StoneDB 提供了一种全新的解决方案。
StoneDB 是一款开源的 MySQL 兼容的一体化实时 HTAP 数据库,采用原生 MySQL 架构,具备一体化行列混合存储能力,以极低的成本实现高性能实时 HTAP。StoneDB 的设计初衷是通过一套数据库同时解决事务处理和分析处理的问题,更轻量、更优雅、更便捷。其架构与国外厂商(如 Oracle、SQL Server、DB2)的方案类似,但 StoneDB 是开源的。
StoneDB 以插件形式接入 MySQL,通过查询/写入接口与 MySQL server 层进行交互。主要特性包括:
数据组织形式:数据按列进行组织,对各类压缩算法友好,可根据数据类型选择合适的高效压缩算法,节约 IO 和 Memory 资源。具备列数据压缩、数据组织结构与知识网格等优点。
知识网格概览:基于知识网格的查询优化,通过剪枝、解压、数据节点分类等策略优化查询效率。
处理流程:通过知识网格确定关联性和不确定性数据节点,执行计划构建时规避非关联节点,减少数据访问。
全面兼容 MySQL 生态的 StoneDB 一体化 HTAP 系统优势显著,包括:
高性能、低延迟、高可扩展性、易于部署和管理、低 TCO 等特点。
StoneDB 2.0 版本将引入基于内存计算的列存引擎,实现 AP 负载的全内存计算,进一步提升性能。更多信息请关注 StoneDB 官方网站。
StoneDB 开源仓库:
<a href="github.com/stoneatom/st...
作者:
李浩,StoneDB PMC、首席架构师,拥有华为、爱奇艺、北大方正等公司的数据库内核核心架构设计经验,擅长查询引擎、执行引擎、大规模并行处理等技术,拥有数十项数据库发明专利,著有《PostgreSQL查询引擎源码技术探析》。
高日耀,StoneDB PMC、HTAP 内核架构师,毕业于华中科技大学,专注于主流数据库架构和源码研究,8年数据库内核开发经验,曾参与 CirdroData、RadonDB 和 TDengine 的内核研发工作。