Flink源码编译

       1. 下载Flink稳定版1..2，源码可以从官方下载链接获取，源码将源码同步至远程机器，源码使用Jetbrains Gateway打开。源码ssh项目免费源码

       2. 以Jetbrains Gateway打开源码，源码源码目录存放于远程机器，源码它会自动解析为Maven项目。源码

       3. 注意事项：在flink-runtime-web/pom.xml文件中，源码需将部分内容替换，源码具体如下：

       确保先安装npm，源码通过命令`yum install npm`。源码否则编译过程中可能会出现错误。源码

       为了编译时内存充足，源码需要调整Maven设置，增加JDK可用内存。在命令行中，可以在/etc/profile中配置，或在Maven配置中指定更大的内存。

       编译命令如下，对于Jetbrains Gateway，需在Run Configurations中新增配置，调整执行参数以执行mvn install或mvn clean。

       编译完成后，每个模块目标文件夹会生成相应的文件。

       4. 接下来进行运行。首先启动JobManager，查看flink-runtime下的StandaloneSessionClusterEntrypoint类，配置文件目录需指定，牛头指数指标源码如`--configDir configpath`，并配置日志参数。

       主类缺失时，需在IDEA的项目结构模块中给flink-runtime添加依赖，从flink-dist/target目录下添加jar包。

       修改配置文件，将允许访问的IP设置为0.0.0.0，以便外部访问。然后映射web端口，启动JobManager后可通过外部IP访问。

       运行TaskManager的参数与JobManager类似，启动后自动注册到JobManager，外部访问验证成功。

       源码编译与启动完成后，其他机器无需重复编译，只需在相应环境中执行预编译的可执行文件，即可实现分布式环境的Flink使用。

快速搭建一个网关服务，动态路由、鉴权看完就会（含流程图）

       本文将记录如何使用Gateway搭建网关服务以及实现动态路由，旨在帮助读者快速学习网关服务的搭建方法、理解路由相关配置、鉴权流程与业务处理。对于初次接触网关服务的读者，本文将是一篇不错的入门教程。

       搭建服务框架时，主要使用了SpringBoot 2.1、Spring-cloud-gateway-core和common-lang3等技术栈。

       在网关作为统一入口时，tomcat 源码查看版本路由规则就成为连接各个业务系统的桥梁，通过配置路由规则，请求可被精确地导向对应微服务的入口。

       配置文件中通过简单的配置即可实现路由的设置，操作简单且功能强大。然而，配置修改后需要重启服务，可能导致系统短暂停机，为此，本文将介绍如何结合Nacos实现动态路由，保证系统稳定运行。

       Nacos结合gateway-server实现动态路由，首先部署Nacos服务，使用Docker或本地启动源码皆可，具体操作参考官方文档。

       Nacos配置中，groupId采用网关服务名称，dataId为“routes”，配置格式以json形式呈现，需理解在json中的写法与yaml配置的一致性。

       实现动态路由的关键在于Nacos配置监听机制，当配置发生更改时，执行相关API创建路由，保证系统实时响应。

       Gateway提供了GlobalFilter和Ordered两个接口，用于定义过滤器。自定义过滤器只需实现这两个接口。网关服务中的过滤器通常包含鉴权、限流等功能，Wifi广告神器 源码本文将简要介绍鉴权过滤器的实现过程。

       鉴权过滤器的核心在于验证Token的有效性。实现这一功能时，需确保网关服务与业务系统共享同一Redis库，添加Redis依赖及配置。

       通过配置项实现路由功能，整合Nacos与动态路由机制，实现过滤器的快速定义，以及鉴权过滤器的详细流程介绍。对于不清楚的地方，读者可随时在评论区提问。

       感谢您的阅读，希望本文能对您有所助益。更多Java进阶视频推荐，欢迎访问相关链接。

SpringCloud之网关服务(gateway)

       SpringCloud的网关服务在整体架构中扮演着关键角色。首先，它作为服务与外部网络之间的屏障，有助于保护内部服务不受恶意攻击，同时提升内部服务之间的通信效率。网关还具备功能强大的权限控制和流量管理能力，如验证用户登录权限和实施限流策略，确保服务资源的高效利用。

       搭建网关项目时，必不可少的组件是Eureka Discovery和Zuul路由。首先，你需要在项目入口处添加@EnableZuulProxy注解，这会启用Zuul的代理功能。配置文件的穿越火线喇叭源码设置也很重要，启动EurekaServer和相关的服务后，通过统一的路径如apigateway/product/和apigateway/order/访问接口，从而对外界隐藏实际服务的API路径。

       在网关层面实现权限校验，通常会借助ZuulFilter进行拦截。这里，我们以简单的字符串校验为例，但实际生产环境可能需要与Redis和ACL结合以提高安全性，供有兴趣的读者自行扩展。

       流量控制是网关服务的另一个实用功能。通过guava生成令牌，每秒为请求分配访问许可，这样可以有效防止服务过载。你可以使用压力测试工具如JMeter，针对/apigateway/order/api/v1/order/saveforribbon接口进行测试，以验证网关限流的效果。

       总的来说，SpringCloud的网关服务提供了强大的服务管理和控制能力，是构建可扩展和高可用系统的重要组成部分。如果你对视频教程和源码感兴趣，可以在评论区留言交流。

使用Gateway作为SpringCloud网关

       本着能用原生就用原生的原则，我们这里使用SpringGateway来作为云服务的网关

       配置

       从官网的介绍来看，spring网关拥有的功能有，路由（配置，过滤，重写等），熔断以及流量控制

       首先引入包

       动态路由

       路由的配置比较简单，有两种方法：使用配置文件和代码注入，我们这里简单展示下两种方法

       或者使用

       路由配置中id、uri、order、predicates.path/host没什么好说的，根据需求配置即可，filters相关参数，这里最好还是参考源码相关部分或者Spring Cloud Gateway比较全面，比如常用的前缀切割

       这里我们以常用的两种filter，流量控制和熔断降级举例

       流量控制

       通常我们需要限流来保证服务的可用性，保护一些不太稳定的服务不会因为高并发的请求而挂掉，这里我们一般在网关层做流量控制，减少实际进入的请求达到平波峰的目的

       计数器算法

       如果某个服务会在请求中数量达到时候挂掉，请求平均时间为2s，我们给一段时间一个请求量的限制，比如2秒次，每次请求进入就减少计数，每2s开始时重新计数，这样就能保证服务请求中数量在以内。但是对于抢购类接口，可能前ms请求数量就用完了，后面所有请求都被拒绝，即请求突刺现象，这样的用户体验是非常差的所以我们需要尽可能在所有的时间内保证接口的可用性（计数器算法就像DRAM中的集中式刷新一样不太能被接受），而且短时间内大量请求运行在相同代码段是非常危险的，在设计不好的情况很可能会出现数据库死锁等等问题

       漏桶算法

       我们需要让请求尽可能地能进行来，就需要平波峰填波谷，就上例而言，2s内最大请求为，也就是每个请求占用的时间比例为ms，我们设计一个容量为的桶（队列）每ms向接口发一个请求，可以让服务中请求数量不超过的情况下，每ms都能接受一个新的请求，这样就缓解了请求突刺现象。但是这里还有一个问题，对于抢购类接口，个容量可能ms就用完了，在第ms可能还会有个请求抢1个位置，个请求会被取消，这样也是相对来说不能被接受的

       令牌桶算法

       令牌桶算法就是目前spring cloud gateway采用的算法，这里采用的用户时间换用户失败的策略，假设我们认为用户的平均忍耐时间为8秒，接口超过8秒一些用户就要骂街了，减去实际执行的2秒，也就是说我们的可以利用6秒的时间容纳更多的请求。依上文而言每ms去调用这个端口，那么也就是说桶的设计可以更大，在桶里放上令牌，每个请求需要在桶里面拿到令牌才能调用，这里的桶容量就是6s/ms为个。但是我们的执行速度是不变的，也就是结果是，在请求多的情况下用户的执行时间在8秒左右，而在请求少的情况下执行速度在2s左右，这样就缓解了短时间内大量请求导致大量失败的问题了。这里比较重要的参数有两个，第一个是桶请求容量 defaultBurstCapacity，第二个是每秒执行的请求速度（也就是桶的填充速率）defaultReplenishRate

       在这个例子中defaultBurstCapacity=而defaultReplenishRate=，这两个参数我们会在下方配置

       这里我们需要引用redis包，再说明一下，本站使用的是jdk的版本，其他版本的配置和引用可能会稍有变化，需要调整

       覆写KeyResolver的实现类

       流量控制，这里同样有代码实现和配置文件实现，由于目前idea对于复杂配置文件的支持不太好，如果使用配置文件方式会疯狂报红，但是如果全部使用代码的话会不方便实现动态路由，因为gateway是先加载配置再处理代码的。所以这里我们路由使用配置，filter之类复杂的使用代码实现，下面是简单示例

       这样全服务层面的接口流量控制就完成了，具体的哪些服务使用流量控制，具体控制参数的配置，自行稍作修改即可

       测试流量控制的话，可以将令牌回复量和令牌总容量调至比较低的水平，然后再浏览器直接curl接口，比如令牌回复量和容量为1，则单秒内curl即可触发浏览器提示，线上大令牌容量测试能需要多线程curl了，这里参考官方文档给的lua脚本

       ip限流

       如果我们需要对某个ip进行限流，比如防止脚本抢货，我们这里需要KeyResolver的实现不再使用exchange.getRequest().getURI().getPath() ，而是使用 exchange.getRequest().getRemoteAddress() 。但是这里还有一个问题，我们请求是经过层层转发的，nginx，docker等，所以我们可能并不能拿到原始的请求地址，所以这里我们需要在最外层，比如nginx中将原始地址存到header或者cookie当中，这里给出简单示例

       当然还有其他类似X-Forwarded-For的字段不再本文主要探讨范围就不多拓展了，在nginx中配置记录初始远程地址到header后，我们这里需要在程序中取出来，如果你这里使用的标准的X-Real-IP的字段去存储，那么只需要

       即可获取真实地址，如果你这里自定义了一个header的key那么需要在exchange.getRequest().getHeaders()里面自己找出来了

       最后我们这里给出对同一个接口同时配置两种限流的示例

       我在ip限流这里修改了返回的code由改为了，方便测试，这里我们将ip的限流参数设置为（2，2），将path的限流参数设置为（1，）然后不断请求接口就发现一开始返回错误，后续path令牌桶用完后返回错误，即设置成功

       补充

       如果这里你不希望返回，并且要求返回一个用户可读的带有json信息结果，那么比较好的业务处理方式是前端完成。如果是对外接口的话，那么我们这里就只能重写RateLimiter的实现了，不再使用RedisRateLimiter的类，而是自己去继承RateLimiter接口去实现，

       参考 SpringCloudGateway限流后，默认返回的改造：改跳转或增加响应body，这篇文章已经很详细，这里就不赘述了

       熔断降级

       熔断降级，即某个接口调用失败时使用其他接口代替，来保证整体服务对外的可用性

       首先需要引入熔断包

       circuitbreaker-reactor-resilience4j 熔断的相关配置分为两个部分，熔断逻辑本身的配置以及在集成到gateway中时候，网关的配置，熔断的重要的配置有，触发熔断的接口，代替接口，熔断超时时间（当然还有其他的，比如自定义熔断HttpStatus等等，详细参数参考 Spring Cloud Circuit Breaker以及resilience4j官网）

       这里熔断触发接口和代替接口配置位于gateway中，这里我们使用代码实现，位置参考前述

       这里setName的目的是和熔断包中的配置产生对应关系，下方为熔断包的配置，这里定义默认超时时间（也就是没有匹配到name的超时时间）为s，your_breaker_id的超时时间为3s

       最后

       到这里网关的基本功能就差不多了，自定义的一些业务功能配置，比如header，cookie，以及调用方ip的处理逻辑等等其实都是在网关层处理的，可以参考 Spring Cloud Gateway WebFilter Factories以及Writing Custom Spring Cloud Gateway Filters，但是这种配置基本都没什么坑，这里就不谈了

       网关由于不经常作为业务逻辑被重构，所以网络上的资料相对比较少，我这里使用的又是最新的版本还是蛮多和前版本不一样的地方，尤其是webflux的一些东西，很多问题需要看源码才能解决，非常的消耗意志力。这里建议小伙伴们如果是业务使用的这种资料相对较少的架构，最好还是不要使用最新版本的比较好，毕竟万一遇到坑，踩个一两天是很正常的事情，而这种在业务场景可能就没那么容易接受了

gateway和zuul的区别与联系

       1、性能

       spring cloud Gateway有一个全新的非堵塞的函数式Reactive Web框架，可以用来构建异步的、非堵塞的、事件驱动的服务，在伸缩性方面表现非常好，使用非阻塞API，Websockets得到支持，并且由于它与Spring紧密集成。Zuul是一个基于阻塞io的API Gateway，Zuul已经发布了Zuul2.x，基于Netty，也是非阻塞的，支持长连接，但Spring Cloud暂时还没有整合计划。

       2、源代码维护组织

       spring cloud Gateway是spring旗下spring cloud的一个子项目。还有一种说法是因为zuul2连续跳票和zuul1的性能表现不是很理想，所以催生了spring孵化Gateway项目。zuul则是netf1ix公司的项目，只是spring将zuul集成在spring cloud中使用而已。关键目前spring不打算集成zuul2.x。

Spring Cloud Gateway中几个重要的概念：

       1、路由：路由是网关最基础的部分，路由信息有一个ID、一个目的URL、一组断言和一组Filter组成。如果断言路由为真，则说明请求的URL和配置匹配。

       2、断言：匹配的规则。Java8中的断言函数。Spring Cloud Gateway中的断言函数输入类型是Spring5.0框架中的ServerWebExchange。Spring Cloud Gateway中的断言函数允许开发者去定义匹配来自于httprequest中的任何信息，比如请求头和参数等。

       3、过滤器：一个标准的Spring webFilter。Spring cloud gateway中的filter分为两种类型的Filter，分别是Gateway Filter和Global Filter。过滤器Filter将会对请求和响应进行修改处理。