Spark源码解析2-YarnCluster模式启动

       YARN 模式运行机制主要体现在Yarn Cluster 模式和Yarn Client 模式上。在Yarn Cluster模式下，模式源码SparkSubmit、模式源码nexus 5 源码下载ApplicationMaster 和 CoarseGrainedExecutorBackend 是模式源码独立的进程，而Driver 是模式源码独立的线程；Executor 和 YarnClusterApplication 是对象。在Yarn Client模式下，模式源码SparkSubmit、模式源码ApplicationMaster 和 YarnCoarseGrainedExecutorBackend 也是模式源码独立的进程，而Executor和Driver是模式源码对象。

       在源码中，模式源码SparkSubmit阶段首先执行Spark提交命令，模式源码底层执行的模式源码是开启SparkSubmit进程的命令。代码中，SparkSubmit从main()开始，根据运行模式获取后续要反射调用的类名赋给元组中的ChildMainClass。如果是Yarn Cluster模式，则为YarnClusterApplication；如果是Yarn Client模式，则为主类用户自定义的类。接下来，获取ChildMainClass后，通过反射调用main方法的过程，反射获取类然后通过构造器获取一个示例并多态为SparkApplication，再调用它的start方法。随后调用YarnClusterApplication的start方法。在YarnClient中，new一个Client对象，其中包含了yarnClient = YarnClient.createYarnClient属性，这是Yarn在SparkSubmit中的客户端，yarnClient在第行初始化和开始，即连接Yarn集群或RM。之后就可以通过这个客户端与Yarn的红绿波指标源码RM进行通信和提交应用，即调用run方法。

       ApplicationMaster阶段主要涉及开启一个Driver新线程、AM向RM注册、AM向RM申请资源并处理、封装ExecutorBackend启动命令以及AM向NM通信提交命令由NM启动ExecutorBackend。在ApplicationMaster进程中，首先开启Driver线程，开始运行用户自定义代码，创建Spark程序入口SparkContext，接着创建RDD，生成job，划分阶段提交Task等操作。

       在申请资源之前，AM主线程创建了Driver的终端引用，作为参数传入createAllocator()，因为Executor启动后需要向Driver反向注册，所以启动过程必须封装Driver的EndpointRef。AM主线程向RM申请获取可用资源Container，并处理这些资源。ExecutorBackend阶段尚未完成，后续内容待补充。

2万多行MyBatis源码，你知道里面用了多少种设计模式吗？

       在MyBatis的两万多行的框架源码中，设计模式的巧妙使用是整个框架的精华。

       MyBatis中主要使用了以下设计模式：工厂模式、单例模式、建造者模式、适配器模式、代理模式、组合模式、装饰器模式、模板模式、策略模式和迭代器模式。asp拼团源码

       具体来说，工厂模式用于SqlSessionFactory的创建，单例模式用于Configuration的管理，建造者模式用于ResultMap的构建，适配器模式用于统一日志接口，代理模式用于MapperProxy的实现，组合模式用于SQL标签的组合，装饰器模式用于二级缓存操作，模板模式用于定义SQL执行流程，策略模式用于多类型处理器的实现，迭代器模式用于字段解析的实现。

       通过运用这些设计模式，MyBatis成功地实现了复杂场景的解耦，并将问题合理切割为若干子问题，以提高理解和解决的效率。

       总的来说，MyBatis大约运用了种左右的设计模式，这使得框架在处理复杂问题时能够更加高效和灵活。

       学习源码不仅可以帮助我们更好地理解设计模式和设计原则，更能够扩展我们的编码思维，积累实际应用的经验。

       希望本文的分享能够帮助到您，同时也推荐您阅读《手写MyBatis：渐进式源码实践》一书，了解更多关于MyBatis的知识。

Qt源码中的设计模式：撤销/重做框架与备忘录模式

       Qt源码中的设计模式：撤销/重做框架与备忘录模式

       备忘录模式（Memento Pattern）是一种行为型设计模式，用于保存对象当前状态并在需要时恢复该状态。此模式适用于保存和恢复对象状态的场景。

       备忘录模式包含发起人（Originator）、备忘录（Memento）和负责人（Caretaker）三个参与者。发起人负责创建备忘录和恢复状态，备忘录存储发起人的状态信息，而负责人管理多个备忘录。

       以下为C++参考示例：Originator类表示需要保存状态的ios 游戏 源码下载对象，Memento类用于存储Originator的状态，Caretaker负责管理多个备忘录。通过操作Originator实现状态修改、保存和恢复。

       备忘录模式与撤销/重做框架结合使用时，主要关注于保存状态和恢复状态。例如，假设用户通过更改QTextEdit的字体和颜色来实现撤销和重做功能。结合备忘录模式，Memento类记录QTextEdit的状态，简化了操作。

       在此示例中，MyCommand类执行命令，同时兼任备忘录模式的Originator类和命令模式的Receiver类，QUndoStack类则担任备忘录模式的Caretaker类和命令模式的Invoker类。因此，备忘录模式和命令模式结合，使得撤销和重做功能实现更为简洁。

       总结：通过结合使用命令模式和备忘录模式，Qt提供的撤销/重做框架实现了一个设计良好的撤销/重做类逻辑。掌握设计模式思想，有助于理解源码和编写面向对象程序。在Qt源码和实际开发中，设计模式的结合应用常见。

了解三种小程序开发模式：SaaS模板、源码授权、定制开发的全面解析

       小程序，作为现代便捷应用的代表，以其无需下载安装的特性，为用户提供了无缝的使用体验。相比传统的应用，小程序在开发成本、周期和维护上展现出明显优势，公众平台源码下载尤其对中小企业来说，是一个极具性价比的选择。

       在触达用户方面，小程序通过微信公众号、二维码分享等手段，能够精准营销，提升用户粘性和转化率。这类轻量级应用，旨在提供便捷、安全的金融服务，覆盖银行、保险、证券、投资等多元化需求，满足用户对金融业务的高效利用。

       而购物体验的提升，正是商城小程序的核心价值所在。通过便捷的在线购物模式，用户能够轻松浏览商品、下单购买、在线支付和追踪订单，享受高效、愉悦的购物过程。

       小程序的开发模式大致分为三种：SaaS模板、源码授权、定制开发。每种模式都有其独特优势，企业应根据自身需求、预算和发展规划选择合适的开发路径。

       SaaS模板小程序，基于标准化模板开发，用户仅需选择模板并进行配置即可快速上线。其主要特点是功能选择有限，但开发周期短，上线速度快，无需备案和服务器搭建，且提供数据下载服务，但不支持个性化功能的添加和升级。

       源码授权小程序，企业购买后可获得源码，具备二次开发和定制的能力。其优势在于功能较为完善，支持功能升级，且拥有源代码，企业可进行自主调整，但上线周期稍长，需进行服务器部署和备案，且不支持转至定制开发模式。

       定制开发小程序，软件公司从零开始为企业的具体需求进行开发。它提供了高度的灵活性和定制化能力，支持功能升级，拥有完整源代码和自主开发权限。但开发周期较长，上线前需进行一系列流程，且数据完全由企业掌控。

       综上所述，企业应根据自身需求、预算和发展规划，选择最适合的开发模式。对于预算有限、功能需求不高的企业，SaaS模板小程序是理想之选；对于需要一定功能扩展和个性化定制的企业，源码授权模式更为合适；而对于有明确需求且预算充足，追求完全自主控制和个性化开发的企业，定制开发小程序无疑是最佳方案。

什么是源代码?

       源代码是程序设计的核心，它指的是编写程序时使用的语言，相对于机器可以直接识别和执行的二进制代码而言。代码是一种人工设计的符号系统，用以指示计算机执行特定任务。

       编程是将想法转化为代码的过程，最终形成可执行的程序。程序是按照一定逻辑执行指令的序列集合，它能完成特定功能。在早期，程序员直接编写二进制代码，但这种方式效率低下且容易出错。为了提高效率，出现了编译器，它能够将人类可读的源代码转换为机器可执行的目标代码。

       源代码的形式多样，常见的如汇编语言、C、Java、Python等编程语言。这些语言都是源代码，方便人类阅读和理解。在开发软件时，源代码通常被视为商业机密，用户仅需关注最终生成的程序是否满足其需求。

       开源软件是指其源代码可以公开获取和修改的软件。这种模式鼓励社区成员共同参与软件开发，促进创新和改进。开源软件和商业软件在功能上并无本质区别，两者地位平等。

       开源的意义在于促进软件创新、提高代码质量和促进知识共享。它为开发者提供了丰富的资源和支持，使软件开发更加高效和灵活。对于用户而言，开源软件通常具有更高的透明度和可控性，有助于提升软件的可靠性和安全性。

       总之，源代码是编程的基础，通过编译器转换为机器可执行的目标代码，实现了人与机器之间的沟通。开源软件的开放性和协作性为软件行业带来了前所未有的活力和创新。

Presto源码分析之模式匹配

       Presto 中的小型模式匹配库，即presto-matching，其作用在于识别并优化性能不佳的查询计划。本文将详细解析presto-matching库中的主要概念，包括Pattern、Match、Matcher，以及它们的设计思路与在Presto查询优化中的应用。

       首先，Pattern是一个抽象类，它负责定义模式的结构、行为、常用构造方法，形成了小型的DSL，并提供与匹配逻辑之间的桥梁方法matches。Pattern的结构定义了模式的属性，如EqualsPattern的expectedValue和FilterPattern的predicate。Pattern的行为通过accept方法实现，它接受Matcher核心类和匹配对象，以及用于保存匹配过程中关注的节点的Context。Pattern还定义了模式构造方法，使用户可以直观地描述复杂的匹配逻辑，避免冗长且难以理解的代码。

       Pattern匹配的关键在于Pattern的matches方法，它用于判断给定对象是否能匹配当前模式。

       Pattern的子类包括5个，分别用于实现不同的匹配逻辑。

       Match是一个抽象类，代表匹配结果，包含Present和Empty两个私有实现类。Present类保存匹配到的节点，Empty类表示未匹配到任何内容。用户通过Match的工厂方法获取具体的实现类。

       Matcher作为桥梁，使用Visitor模式，定义了匹配各种模式的方法。当前实现仅有一个DefaultMatcher，它通过递归调用match方法，检查整个模式链是否满足给定对象，同时保存用户感兴趣的子节点。

       模式匹配在Presto中的应用主要在于查询优化，特别是在基于规则的优化器中。例如，Presto的优化规则推限通过项目可以利用模式识别找到性能提升的机会，通过在选择阶段减少数据量，从而减少整个查询的处理数据量。

       本文对presto-matching库进行了深入解析，从其设计思路到实际应用，展现了模式匹配在Presto查询优化中的重要作用。这个库的设计虽然简洁，但在查询优化场景中发挥了巨大作用。它不仅提高了查询性能，还为未来的类似模式识别场景提供了灵活的应用基础。

为什么 MyBatis 源码中，没有我那种 if···else

       在 MyBatis 源码中，设计模式的巧妙使用是整个框架的精华，共有约种模式，包括创建型、结构型和行为型模式。

       创建型模式包括工厂模式、单例模式和建造者模式。工厂模式用于创建 SqlSessionFactory，单例模式确保 Configuration 的唯一实例，建造者模式将 XML 文件解析到对象中。

       结构型模式有适配器模式、代理模式、组合模式和装饰器模式。适配器模式使接口不兼容的对象可以协作，代理模式提供 DAO 接口的实现，组合模式用于 SQL 标签组合，装饰器模式允许在不修改结构的情况下增加行为。

       行为型模式包括模板模式、策略模式和迭代器模式。模板模式定义算法框架，策略模式允许算法的替换，迭代器模式遍历集合元素。

       总结，MyBatis 源码运用设计模式解决复杂问题，合理切割子问题，学习这些方案技术能提高对设计和实现的理解，扩展编码思维，积累经验，成为优秀工程师和架构师。