gateway网关限流配置

2022-07-06 10:05:18

限流缘由: 部分接口在某些场景业务下某短时间并发量较高,最简单暴力的方式就是限流

熔断、降级、限流的关系

熔断:熔断强调的是服务之间的调用能实现自我恢复的状态;

限流:限流是从系统的流量入口考虑,从进入的流量上进行限制,达到保护系统的作用;

降级:降级,是从系统内部的平级服务或者业务的维度考虑,流量大了,可以干掉一些,保护其他正常使用;

熔断是降级方式的一种;
降级又是限流的一种方式;
三者都是为了通过一定的方式去保护流量过大时,保护系统的手段。

限流常用算法

窗口算法:包含固定窗口算法,滑动窗口算法
漏桶算法:包含漏桶算法、令牌漏桶算法

窗口算法存在零界点时间问题,导致某段时间可能流量过大。
普通漏桶算法效率完全均匀一样,不能处理突发流量

gateway使用的限流算法为 令牌漏桶算法

令牌漏桶算法

令牌桶算法(Token Bucket)

令牌桶算法(Token Bucket)是目前应用最广泛的一种限流算法,它的基本思想由两部分组成:生成令牌 和 消费令牌。

生成令牌:假设有一个装令牌的桶,最多能装 M 个,然后按某个固定的速度(每秒 r 个)往桶中放入令牌,桶满时不再放入;
消费令牌:我们的每次请求都需要从桶中拿一个令牌才能放行,当桶中没有令牌时即触发限流,这时可以将请求放入一个缓冲队列中排队等待,或者直接拒绝;
令牌桶算法的图示如下:(图片来源)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VKTcQUnx-1647588058417)(https://note.youdao.com/yws/res/21509/428EA125E4374841AEF73481049C012E)]

在上面的图中,我们将请求放在一个缓冲队列中,可以看出这一部分的逻辑和漏桶算法几乎一模一样,只不过在处理请求上,一个是以固定速率处理,一个是从桶中获取令牌后才处理。

仔细思考就会发现,令牌桶算法有一个很关键的问题,就是桶大小的设置,正是这个参数可以让令牌桶算法具备处理突发流量的能力。譬如将桶大小设置为 100,生成令牌的速度设置为每秒 10 个,那么在系统空闲一段时间的之后(桶中令牌一直没有消费,慢慢的会被装满),突然来了 50 个请求,这时系统可以直接按每秒 50 个的速度处理,随着桶中的令牌很快用完,处理速度又会慢慢降下来,和生成令牌速度趋于一致。这是令牌桶算法和漏桶算法最大的区别,漏桶算法无论来了多少请求,只会一直以每秒 10 个的速度进行处理。当然,处理突发流量虽然提高了系统性能,但也给系统带来了一定的压力,如果桶大小设置不合理,突发的大流量可能会直接压垮系统。

参考博客:实战 Spring Cloud Gateway 之限流篇:

gateway限流配置

gateway限流是基于redis实现,保证redis可用

主要限流代码参考类:RequestRateLimiterGatewayFilterFactory
主要方法:RateLimiter#isAllowed

通过KeyResolver接口传入唯一标识到isAllowed方法中标记

代码配置

KeyResolver注入主要实现的是限流的标记,我们就可以根据不同的标识来达到不同的限流方式,比如ip,接口地址

理论上这个接口实现能拿到的所有的key都能作为限流的唯一key

下面我实现ip、接口限流,其中ip限流为默认(@Primary相同bean默认注入)

* 限流配置**@author LiRui*@version1.0*/@ConfigurationpublicclassRedisRateLimiterConfig{/**
     * 接口限流
     * 获取请求地址的uri作为限流key
     *
     * @return
     */@Bean("pathResolver")public KeyResolverapiKeyResolver(){return exchange-> Mono.just(exchange.getRequest().getPath().value());}/**
     * ip限流
     *
     * @return
     */@Bean("ipResolver")@Primarypublic KeyResolveripKeyResolver(){return exchange-> Mono.just(exchange.getRequest().getRemoteAddress().getHostName());}}

gateway配置

gateway限流是对某个 route 进行限流。

Spring Cloud Gateway,replenishRate不支持设置小数,也就是说往桶中填充的 token 的速度最少为每秒 1 个

key-resolver 使用 SpEL 表达式 #{@beanName},不配置默认使用ip限流

routes:-id: testuri: lb://test/predicates:- Path=/login/loginfilters:- RouteVersion-name: RequestRateLimiterargs:# 每秒允许处理的请求数量  #  令牌桶每秒填充平均速率redis-rate-limiter.replenishRate:20# 每秒最大处理的请求数量# 令牌桶总容量redis-rate-limiter.burstCapacity:50#限流策略,对应策略的Beankey-resolver:"#{@ipResolver}"

实际设置redis-rate-limiter.replenishRate、redis-rate-limiter.burstCapacity需要根据系统本身的压测结果进行合理设置

限流之后HTTP返回结构

前端可根据返回状态码做相关提示
返回状态码:429

详细信息查看图片:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tdoYKWbN-1647588836015)(https://note.youdao.com/yws/res/21540/AB5FB6EF23C64791B20D90C4FFCACA15)]

参考文档:
实战 Spring Cloud Gateway 之限流篇:

Spring Cloud Gateway 2.1.0 中文官网文档:

  • 作者:冲a铁子
  • 原文链接:https://blog.csdn.net/qq_28325291/article/details/123575437
    更新时间:2022-07-06 10:05:18