1.Spark源码分析——yarn-cluster模式下Application提交源码实现
2.游戏优化大师能优化哪些游戏?源码游戏优化大师常见问题解答分享
3.安全编程代码静态分析内容简介
4.Apache源代码全景分析:体系结构与核心模块编辑推荐
5.Spark-Submit 源码剖析
6.Tomcat Session(CVE-2020-9484)反序列化复现

Spark源码分析——yarn-cluster模式下Application提交源码实现

       Spark源码深入解析：yarn-cluster模式下Application提交的详细流程

       Spark客户端在yarn-cluster模式下的核心入口是org.apache.spark.deploy.yarn.Client，这个客户端主要职责是剖析向ResourceManager提交并监控Application的运行。以下是源码对submit源码的深入剖析:

       1. 客户端入口与主要方法: Client的main方法首先创建Client实例并执行run()方法，run()方法是剖析核心操作。

       2. submitApplication()核心实现: run()方法中的源码关键步骤是submitApplication()，它包含了以下内容:

       初始化Yarn客户端，剖析如何查看app源码通过org.apache.hadoop.yarn.client.api.YarnClient实现，源码向RM申请新应用，剖析生成YarnClientApplication。源码

       检查用户提交的剖析资源（如executorMemory、driverMemory）是源码否合法，确保不超过单个container的剖析最大资源。

       创建ContainerLaunchContext，源码包括上传依赖资源到HDFS，剖析设置Java执行命令（包含ApplicationMaster入口类）和环境变量。源码

       设置application的详细信息，如名称、队列、资源需求等，然后提交至RM启动ApplicationMaster进程。

       3. 资源验证与container创建: 验证用户设置的资源是否满足container限制，并创建执行环境，包括打包依赖文件到HDFS，构建启动ApplicationMaster的Java命令。

       4. 监控与报告: 客户端通过monitorApplication()持续监控应用状态并报告给用户，如：Application report for $appId (state: $state)。

       总结来说，yarn-cluster模式下，Client执行的步骤包括：

       创建Client实例，连接ResourceManager。

       提交申请，获取applicationId和最大资源。

       检查并确保资源请求合法。

       构建ContainerLaunchContext，准备application的运行环境。

       设置并提交application信息，启动ApplicationMaster。

       持续监控并报告application状态。

       这个过程完成后，ApplicationMaster的运行和Driver的控制将作为后续分析的重点。

游戏优化大师能优化哪些游戏?头像制作素材源码游戏优化大师常见问题解答分享

       游戏优化大师是一款专门为游戏优化电脑环境的智能软件!有些游戏玩家的电脑配置并不差，但玩起游戏来总是是卡机。而游戏优化大师会对系统进行全面而深度的检查，分析出所有引起卡机的原因，然后自动对系统进行后台服务优化、内存整理等智能化操作，你只需一键即可打造出自己流畅的游戏模式!

游戏优化大师能优化哪些游戏?

       游戏优化大师支持近百款网络游戏和单机游戏，只要您正常安装了这些游戏，游戏优化大师的主界面上会自动显示这些游戏。如果您在游戏优化大师的主界面上没有找到您电脑上的游戏，您可以手动添加到优化列表。

什么是游戏模式?

       游戏模式是游戏优化大师的独有功能，它会自动对您的电脑系统进行优化，使得游戏操作更加流畅。具体得说，游戏模式会自动进行以下操作：

       关闭与游戏无关的后台软件，释放CPU和内存资源;

       屏蔽Win键弹窗、系统升级通知等弹窗打扰，防止游戏中突然跳出到桌面;

       暂停与游戏无关的系统后台服务、开启隐藏的系统高级优化项，发挥系统的最大潜能;

       启用针对不同游戏开发的专门游戏补丁，提升游戏的开启速度、加载速度和操作流畅度;

       智能调整系统的CPU、内存和资源优先级分配，实时防止其它程序抢占系统，资源让游戏运行获得更多资源。

接下来专访游戏优化大师研发负责人“庆叔”，大家可以一起来学习下：

       导语：“庆叔”——这是游戏优化大师出品公司宁乐科技里每个同事对张中庆的尊称。这个七零后虽然不至于达到这个辈分级别，但他的技术实力和工作经历足以获得如此高的尊重。庆叔年从西安交大计算机系本科毕业后，就职于一家国营企业，负责银行相关软件的开发，本是捧着金饭碗的他在工作三年后毅然辞职重回西交攻读硕士学位。毕业后先后在腾讯、.com、盛大网络从事过重要的研发工作，并且利用业余时间，六年磨一剑出版了国内极少涉及的“源码剖析”书籍《Apache源代码全景分析第1卷：体系结构与核心模块》，很是让人钦佩。今日有幸和庆叔面对面聊聊，商联达源码看我能从技术男的身上找到什么?

       “庆叔”——张中庆 目前就职于上海宁乐科技有限公司，负责“游戏优化大师”这款在游戏垂直领域里为用户提供专业优化软件的研发。

       小编：“游戏优化大师”近半年来的版本更新频率极速提升，平均两周一个版本，为什么会如此频繁的更新版本呢?

       庆叔：随着市场上游戏产品的增加，游戏用户的增加，游戏优化大师这款软件的用户也在日益增加。用户多了，用户的需求也自然随之增加，快速的版本迭代升级，就是为了用最快的速度响应用户提出的合理需求。其实除了外发的版本，我们还有针对核心用户群的测试版本，这半年来应该有个版本了吧。(庆叔特地打开了他的笔记本查阅后给出以上回答)

       小编：听说阳台上的那张床是您的专用品，我很好奇，可以说说嘛?

       庆叔：我家住的有点远，在松江，从松江到张江，单程也要近2个小时。每天花费4小时在上下班路上感觉有点浪费。有时候工作晚了，实在不想折腾了，就在公司睡。床虽小，但睡得还挺舒服。(庆叔说到这脸上闪过一抹红……)

       庆叔的小床收拾的倒是挺整洁

       小编：刚说到用户的建议越来越多，您是如何获取到这些建议呢?

       庆叔：这可不是我一个人能做的，宁乐上上下下每个人，连董事长都会经常在论坛、Q群、各种软件管家、下载站里查看用户的反馈，也会经常去游戏论坛、YY群和游戏用户直接沟通，了解他们的需求，每个人都会把他们收集到的用户反馈集中到产品经理处，讨论出优先级后就会交给我们用最快的时间完成所需的功能，有时讨论的时候，产品可能会觉得某些建议实现起来很难，jre源码怎么查看会下意识询问是否要降低这些难点的优先级，但我们研发就要在这个时候顶起来，用户想要的就要给!要尽快给!功能可以逐步加强，但事情要积极的做起来。

       小编：有没有什么例子?或者说这么多次版本更新里，您较为满意的是哪个功能的实现?

       庆叔：就拿最新的3.9.4版本说吧。这个版本里，我们发布了一个新功能，叫“全能温度计”。第一次把气温、CPU、显卡和硬盘的温度同时实时的在任务栏中展现。这个功能就是因为有一天逛论坛，看到有用户抱怨说显卡烧了导致攻城失败，向公会成员发帖道歉。天热了，电脑更怕热，我们应该在这方面做出一些努力。从看到论坛帖，到确定要做“全能温度计”，只用了一天。当然，我们也就此功能询问了核心用户，大家都很期待。

           

       全能温度计第一次把天气和硬件温度放在了一起，看得出电脑真的挺辛苦的。

       小编：这个功能做了多久?也是一周就发布了吗?

       庆叔：这个版本没有那么快，几个研发同时还在解决之前版本里遗留的一些小缺憾，我和另一位兄弟主攻这个功能点的实现。做了很多个表现样式，比如像某些软件在桌面上悬浮显示，用快捷键调出显示，在任务栏里显示，等等好多版。最后选择在任务栏的版式是希望用最不影响用户体验的方式，把温度监控实时展现在用户面前。看上去很简单的功能，开发过程中也的确是遇到了一些意想不到的问题。各种型号硬件的温度调用，用户所在城市的eclipse查看api源码精确定位，温度数据的展现形式……延期了三天，十天时间完成了全能温度计的第一期功能开发。算是可以提交给用户体验了。

       小编：第一期功能开发，全能温度计还会有后续的功能添加吗?

       庆叔：当然，现在的功能只是解决了把温度真实的实时的展现给用户的需求，但用户最希望的肯定是如果温度高了，有没有办法帮其主动降温。这将是全能温度计后续研发的方向。继续努力吧。

       小编：研发在我心目中很高深，一行行的代码看似好无趣，您享受现在的工作吗?

       庆叔：单独看代码肯定很枯燥，但这些代码实现的功能能够帮助用户解决问题，这种成就感是无法用言语形容的。尤其是我们的努力让游戏优化大师聚集了越来越多的用户，而且反馈和评分都还不错，这让我们更有动力。还是那句话，用户想要的，我们能够尽快给出，就是我认为研发人员最应该做的事。

安全编程代码静态分析内容简介

       本书详细探讨了在编程中确保安全的重要性，尤其是在常规的Bug捕获技术往往无法揭示安全漏洞的情况下。它揭示了如何借助静态分析这一强大工具，帮助程序员在编程过程中更有效地进行安全工作。

       书中深入剖析了决定静态分析工具成功与否的关键属性和算法，这些是确保分析准确性和效率的核心要素。同时，提供了种提升代码静态分析效率的技术，帮助开发者更有效地识别和修复潜在安全问题。

       针对常见的严重安全漏洞，如FireFox、OpenSSH、MySpace、eTrade、Apachehttpd等软件的漏洞实例，书中给出了详尽的解决方案，供读者学习和参考。处理非可信输入、防止缓冲区溢出，以及避免Web应用、服务和Ajax相关错误的策略，也是本书的重要内容。

       此外，书中还关注了安全日志技术、调试技术以及错误和异常处理，这些都是维护软件安全的重要环节。对于秘密和机密信息的创建、维护和共享，也有专门的章节，确保信息在传输过程中的安全性。

       最后，本书带领读者完整地体验静态分析的全过程，从理论到实践，旨在提升程序员在编写安全代码方面的技能和知识。

扩展资料

       程序员要知道：他们的代码几乎需要在各种使用环境和各种配置之下都是安全的。静态源代码分析为用户提供了使用优秀的工具来审查其工作的能力，从而找出各类可直接导致安全漏洞的错误。现在，本书提供了一份关于静态分析的完整指导：如何进行静态分析，如将其集成到软件开发过程以及如何在代码安全审查期间最大化其功效等。静态分析专家BrianChess和JacobWest探讨了当前最为常见的安全缺陷类型。他们使用来自实际安全事件的Java和C代码实例阐明了：如何发现编码错误，如何防止出现编码错误以及如何通过静态分析来快速找出类似的错误。

Apache源代码全景分析:体系结构与核心模块编辑推荐

       如果您正在寻找对Apache源代码深入了解的资源，那么《Apache源代码全景分析第1卷：体系结构与核心模块》无疑是一个值得推荐的选择。这本书在市场上独树一帜，专注于详尽解析Apache的体系结构和关键组成部分，为读者揭开其内在运作的神秘面纱。

       作者通过细致入微的剖析，引导读者一步步探索Apache系统架构的复杂网络，如同剥丝抽茧般逐步揭示其内在逻辑。它不仅仅是一份技术指南，更是对开源社区集体智慧的高度赞赏，展示了如何通过集体努力创造出如此强大且高效的软件平台。

       这本书不仅适合对Apache有深厚兴趣的专业开发者，也适合对开源技术有研究的人士，它提供了一个全面且深入的视角，帮助读者重新认识这个开源社区的杰作。无论你是初次接触还是经验丰富的开发者，都将从中受益匪浅。

扩展资料

       《Apache源代码全景分析：体系结构与核心模块》是由张中庆、梁雪平等编著的计算机应用技术类书籍；该书由电子工业出版社于年出版发行。书中详细介绍了Apache的基础体系结构和核心模块的实现机制，包括配置文件、模块化结构、多任务并发，以及网络连接和请求读取等知识。

Spark-Submit 源码剖析

       直奔主题吧：

       常规Spark提交任务脚本如下：

       其中几个关键的参数：

       再看下cluster.conf配置参数，如下：

       spark-submit提交一个job到spark集群中，大致的经历三个过程：

       代码总Main入口如下：

       Main支持两种模式CLI：SparkSubmit；SparkClass

       首先是checkArgument做参数校验

       而sparksubmit则是通过buildCommand来创建

       buildCommand核心是AbstractCommandBuilder类

       继续往下剥洋葱AbstractCommandBuilder如下：

       定义Spark命令创建的方法一个抽象类,SparkSubmitCommandBuilder刚好是实现类如下

       SparkSubmit种类可以分为以上6种。SparkSubmitCommandBuilder有两个构造方法有参数和无参数：

       有参数中根据参数传入拆分三种方式，然后通过OptionParser解析Args，构造参数创建对象后核心方法是通过buildCommand，而buildCommand又是通过buildSparkSubmitCommand来生成具体提交。

       buildSparkSubmitCommand会返回List的命令集合，分为两个部分去创建此List,

       第一个如下加入Driver_memory参数

       第二个是通过buildSparkSubmitArgs方法构建的具体参数是MASTER，DEPLOY_MODE，FILES，CLASS等等，这些就和我们上面截图中是对应上的。是通过OptionParser方式获取到。

       那么到这里的话buildCommand就生成了一个完成sparksubmit参数的命令List

       而生成命令之后执行的任务开启点在org.apache.spark.deploy.SparkSubmit.scala

       继续往下剥洋葱SparkSubmit.scala代码入口如下：

       SparkSubmit，kill，request都支持，后两个方法知识支持standalone和Mesos集群方式下。dosubmit作为函数入口，其中第一步是初始化LOG，然后初始化解析参数涉及到类

       SparkSubmitArguments作为参数初始化类，继承SparkSubmitArgumentsParser类

       其中env是测试用的,参数解析如下，parse方法继承了SparkSubmitArgumentsParser解析函数查找 args 中设置的--选项和值并解析为 name 和 value ，如 --master yarn-client 会被解析为值为 --master 的 name 和值为 yarn-client 的 value 。

       这之后调用SparkSubmitArguments#handle(MASTER, "yarn-client")进行处理。

       这个函数也很简单，根据参数 opt 及 value，设置各个成员的值。接上例，parse 中调用 handle("--master", "yarn-client")后，在 handle 函数中，master 成员将被赋值为 yarn-client。

       回到SparkSubmit.scala通过SparkSubmitArguments生成了args，然后调用action来匹配动作是submit,kill,request_status,print_version。

       直接看submit的action，doRunMain执行入口

       其中prepareSubmitEnvironment初始化环境变量该方法返回一个四元 Tuple ，分别表示子进程参数、子进程 classpath 列表、系统属性 map 、子进程 main 方法。完成了提交环境的准备工作之后，接下来就将启动子进程。

       runMain则是执行入口，入参则是执行参数SparkSubmitArguments

       Main执行非常的简单：几个核心步骤

       先是打印一串日志（可忽略），然后是创建了loader是把依赖包jar全部导入到项目中

       然后是MainClass的生成，异常处理是ClassNotFoundException和NoClassDeffoundError

       再者是生成Application，根据MainClass生成APP,最后调用start执行

       具体执行是SparkApplication.scala，那么继续往下剥~

       仔细阅读下SparkApplication还是挺深的，所以打算另外写篇继续深入研读~

Tomcat Session(CVE--)反序列化复现

       Apache Tomcat远程代码执行风险剖析

       Apache Tomcat，一个开放源代码的Web应用服务器，主要实现Java EE规范中的Servlet、JSP，并提供HTTP服务，是广泛使用的Java Web容器。在年，由Sun Microsystems开发并在年捐献给ASF（Apache Software Foundation），现独立为顶级项目。Tomcat为中小规模系统和低并发访问提供高效服务，适合初学者开发和调试JSP程序。它作为Apache服务器的扩展运行独立进程，具备轻量级应用服务器特性。

       CVE--：Tomcat反序列化漏洞

       年5月日，Apache官方宣布了Tomcat远程代码执行风险，漏洞编号CVE--。此漏洞存在于Tomcat使用内置session同步功能时，若配置不当（未使用EncryptInterceptor），攻击者通过精心构造数据包，可对使用内置session同步的Tomcat服务器发起攻击。

       成功利用此漏洞需满足四条件：攻击者能够控制服务器文件内容与名称；服务器使用FileStore进行持久化；sessionAttributeValueClassNameFilter配置不当，允许攻击者提供反序列化对象；攻击者知道FileStore存储位置与攻击可控文件相对路径。

       影响版本

       Apache Tomcat版本包括：.0.0-M1至.0.0-M4，9.0.0.M1至9.0.，8.5.0至8.5.，以及7.0.0至7.0.。

       源码分析

       根据配置，对Tomcat源码进行分析。以Tomcat .0.0-M4为例，关注FileStore的load方法，此方法首先将session id转换为file object并检查文件是否存在。若存在，则读取文件内容。文件对象会添加'.session'后缀，但未验证目录路径。当文件存在时，系统运行CustomObjectInputStream获取gadget类，进行反序列化操作。

       环境搭建

       安装Tomcat需Java8环境，具体安装教程可见相关链接。下载Tomcat .0.0-M4，创建tomcat目录，解压文件。在conf目录下编辑context.xml文件添加Manager配置。下载groovy-2.3.9.jar，放入lib目录下。执行wget命令下载依赖，运行catalina.sh启动Tomcat。访问ip:，确认安装成功。

       漏洞复现

       使用ysoserial生成Java反序列化payload，执行java命令生成payload文件。在浏览器中添加Cookie，包含攻击性JSESSIONID值。或直接通过curl命令加载恶意session持久化文件。执行ls /tmp查看结果。

       修复方法

       通过升级Tomcat版本、配置WAF过滤器、或避免使用FileStore来修复此漏洞。

       免责申明

       本项目仅用于安全人员完成授权项目测试与学习交流，不涉及漏洞利用与攻击性行为。使用时请遵守当地法律法规，避免非授权测试。

Apache源代码全景分析:体系结构与核心模块内容简介

       Apache源代码的深入解析，从第1卷《体系结构与核心模块》开始。该书详尽剖析了Apache的基础架构，特别是核心模块的运作机制，如配置文件、模块化设计、多任务并发处理，以及网络连接和请求处理过程。其中，多任务并发体系结构是本书的重点，包括Prefork、Worker及WinNT等MPM模型的深入探讨。

       Apache 2.0版本引入的过滤器是另一个关键部分，书中讲解了过滤器的使用方法和实现原理，特别关注了存储段和存储段组这两种数据组织形式。作者对Apache中常用的过滤器进行了详细的剖析，帮助读者理解它们在实际应用中的作用和内部运作。

       《Apache源代码全景分析第1卷:体系结构与核心模块》的目的是揭示Apache运行背后的底层机制和模块开发的细节。无论是Apache模块开发者，还是希望深入了解Apache内部工作原理的管理员，或者是Web服务器和大规模服务器的开发者，都能从中获益匪浅。这本书是他们学习和研究Apache源代码的宝贵资源。

扩展资料

       《Apache源代码全景分析：体系结构与核心模块》是由张中庆、梁雪平等编著的计算机应用技术类书籍；该书由电子工业出版社于年出版发行。书中详细介绍了Apache的基础体系结构和核心模块的实现机制，包括配置文件、模块化结构、多任务并发，以及网络连接和请求读取等知识。