限流缘由: 部分接口在某些场景业务下某短时间并发量较高,最简单暴力的方式就是限流
熔断、降级、限流的关系
熔断:熔断强调的是服务之间的调用能实现自我恢复的状态;
限流:限流是从系统的流量入口考虑,从进入的流量上进行限制,达到保护系统的作用;
降级:降级,是从系统内部的平级服务或者业务的维度考虑,流量大了,可以干掉一些,保护其他正常使用;
熔断是降级方式的一种;
降级又是限流的一种方式;
三者都是为了通过一定的方式去保护流量过大时,保护系统的手段。
限流常用算法
窗口算法:包含固定窗口算法,滑动窗口算法
漏桶算法:包含漏桶算法、令牌漏桶算法
窗口算法存在零界点时间问题,导致某段时间可能流量过大。
普通漏桶算法效率完全均匀一样,不能处理突发流量
gateway使用的限流算法为 令牌漏桶算法
令牌漏桶算法
令牌桶算法(Token Bucket)
令牌桶算法(Token Bucket)是目前应用最广泛的一种限流算法,它的基本思想由两部分组成:生成令牌 和 消费令牌。
生成令牌:假设有一个装令牌的桶,最多能装 M 个,然后按某个固定的速度(每秒 r 个)往桶中放入令牌,桶满时不再放入;
消费令牌:我们的每次请求都需要从桶中拿一个令牌才能放行,当桶中没有令牌时即触发限流,这时可以将请求放入一个缓冲队列中排队等待,或者直接拒绝;
令牌桶算法的图示如下:(图片来源)
在上面的图中,我们将请求放在一个缓冲队列中,可以看出这一部分的逻辑和漏桶算法几乎一模一样,只不过在处理请求上,一个是以固定速率处理,一个是从桶中获取令牌后才处理。
仔细思考就会发现,令牌桶算法有一个很关键的问题,就是桶大小的设置,正是这个参数可以让令牌桶算法具备处理突发流量的能力。譬如将桶大小设置为 100,生成令牌的速度设置为每秒 10 个,那么在系统空闲一段时间的之后(桶中令牌一直没有消费,慢慢的会被装满),突然来了 50 个请求,这时系统可以直接按每秒 50 个的速度处理,随着桶中的令牌很快用完,处理速度又会慢慢降下来,和生成令牌速度趋于一致。这是令牌桶算法和漏桶算法最大的区别,漏桶算法无论来了多少请求,只会一直以每秒 10 个的速度进行处理。当然,处理突发流量虽然提高了系统性能,但也给系统带来了一定的压力,如果桶大小设置不合理,突发的大流量可能会直接压垮系统。
参考博客:实战 Spring Cloud Gateway 之限流篇:
gateway限流配置
gateway限流是基于redis实现,保证redis可用
主要限流代码参考类:RequestRateLimiterGatewayFilterFactory
主要方法:RateLimiter#isAllowed
通过KeyResolver接口传入唯一标识到isAllowed方法中标记
代码配置
KeyResolver注入主要实现的是限流的标记,我们就可以根据不同的标识来达到不同的限流方式,比如ip,接口地址
理论上这个接口实现能拿到的所有的key都能作为限流的唯一key
下面我实现ip、接口限流,其中ip限流为默认(@Primary相同bean默认注入)
* 限流配置**@author LiRui*@version1.0*/@ConfigurationpublicclassRedisRateLimiterConfig{/**
* 接口限流
* 获取请求地址的uri作为限流key
*
* @return
*/@Bean("pathResolver")public KeyResolverapiKeyResolver(){return exchange-> Mono.just(exchange.getRequest().getPath().value());}/**
* ip限流
*
* @return
*/@Bean("ipResolver")@Primarypublic KeyResolveripKeyResolver(){return exchange-> Mono.just(exchange.getRequest().getRemoteAddress().getHostName());}}
gateway配置
gateway限流是对某个 route 进行限流。
Spring Cloud Gateway,replenishRate不支持设置小数,也就是说往桶中填充的 token 的速度最少为每秒 1 个
key-resolver 使用 SpEL 表达式 #{@beanName},不配置默认使用ip限流
routes:-id: testuri: lb://test/predicates:- Path=/login/loginfilters:- RouteVersion-name: RequestRateLimiterargs:# 每秒允许处理的请求数量 # 令牌桶每秒填充平均速率redis-rate-limiter.replenishRate:20# 每秒最大处理的请求数量# 令牌桶总容量redis-rate-limiter.burstCapacity:50#限流策略,对应策略的Beankey-resolver:"#{@ipResolver}"
实际设置redis-rate-limiter.replenishRate、redis-rate-limiter.burstCapacity需要根据系统本身的压测结果进行合理设置
限流之后HTTP返回结构
前端可根据返回状态码做相关提示
返回状态码:429
详细信息查看图片: