对于NGINX限速可以采用limit
配置,那么对于 APISIX自然也有对应的插件。目前APISIX提供3种不同方式的插件
- limit-req 插件使用漏桶算法限制单个客户端对服务的请求速率
- limit-conn 插件用于限制客户端对单个服务的并发请求数。当客户端对路由的并发请求数达到限制时,可以返回自定义的状态码和响应信息。
- limit-count 件使用固定时间窗口算法,主要用于限制单个客户端在指定的时间范围内对服务的总请求数,并且会在 HTTP 响应头中返回剩余可以请求的个数。该插件原理与 GitHub API 的速率限制类似
因为是3个插件,并且3个插件可以一块使用也可以分开独立使用。这里我们拆分出来测试
limit-req 插件配置使用
首先需要了解它参数有哪些
名称 | 类型 | 必选项 | 默认值 | 有效值 | 描述 |
---|---|---|---|---|---|
ate | integer | 是 | rate > 0 | 指定的请求速率(以秒为单位),请求速率超过 rate 但没有超过(rate + burst)的请求会被延时处理。 | |
burst | integer | 是 | burst >= 0 | 请求速率超过(rate + burst)的请求会被直接拒绝 | |
key_type | string | 否 | var | ["var", "var_combination"] | 要使用的用户指定 key 的类型 |
key | string | 是 | ["remote_addr", "server_addr", "http_x_real_ip", "http_x_forwarded_for", "consumer_name"] | 用来做请求计数的依据,当前接受的 key 有:remote_addr(客户端 IP 地址),server_addr(服务端 IP 地址), 请求头中的 X-Forwarded-For 或 X-Real-IP,consumer_name(Consumer 的 username) | |
rejected_code | integer | 否 | 503 | [200,...,599] | 当超过阈值的请求被拒绝时,返回的 HTTP 状态码 |
rejected_msg | string | 否 | 非空 | 当超过阈值的请求被拒绝时,返回的响应体 | |
nodelay | boolean | 否 | false | 当设置为 true 时,请求速率超过 rate 但没有超过(rate + burst)的请求不会加上延迟;当设置为 false,则会加上延迟。 |
启用插件
启用插件可以使用图形化,或者使用APISIX Dashboard开启
- 通过APISIX API 在 Route 或 Service 上启用插件
首先先复制我们在dashboard上的json格式
需要调整json配置,以便开启插件
接下来在
upstream_id
上面的字段添加以下配置
- plugins 插件选项
- limit-req 使用漏桶算法限制单个客户端对服务的请求速率
"plugins": {
"limit-req": {
"burst": 10,
"key": "$consumer_name $remote_addr",
"key_type": "var_combination",
"rate": 2,
"rejected_code": 502
}
},
参数含义
上述示例表示,APISIX 将客户端的 IP 地址作为限制请求速率的条件,当请求速率小于 3 次每秒(rate)时,请求正常;当请求速率大于 2 次每秒(rate),小于 12 次每秒(rate + burst)时,将会对超出部分的请求进行延迟处理;当请求速率大于 12 次每秒(rate + burst)时,超出规定数量的请求将返回 HTTP 状态码 502。
完整配置如下
curl http://127.0.0.1:9180/apisix/admin/routes/478390490245366464 #routes注意复制对应图形化路由中的router ID
-H 'X-API-KEY: edaacc2vvvv3bbb5f136f87ad84b625c8f1' -X PUT -d ' #Key需要填写为我们apisix_conf中的配置
##下方为复制dashboard配置部分
{
"uri": "/*",
"name": "APISIX dashboard",
"desc": "APISIX dashboard代理 ",
"methods": [
"GET",
"POST",
"PUT",
"DELETE",
"PATCH",
"HEAD",
"OPTIONS",
"CONNECT",
"TRACE",
"PURGE"
],
"hosts": [
"apisix.test.cn",
"apisix.frps.fun"
],
"plugins": {
"limit-req": {
"burst": 10,
"key": "$consumer_name $remote_addr",
"key_type": "var_combination",
"rate": 2,
"rejected_code": 502
}
},
"upstream_id": "478387915227923136",
"status": 1
}'
执行完毕
检查是否生效
正常请求没有报错
我们直接多刷新几次,让它出现502
如果502没有报错出来,可以把阈值调小一点
- 通过 APISIX Dashboard 开启
这里我们选择流量控制
选项
点击启动limit-req
插件
修改配置并启用插件
查看插件是否生效
接下来测试插件效果
limit-conn 插件配置使用
limit-conn 插件用于限制客户端对单个服务的并发请求数。当客户端对路由的并发请求数达到限制时,可以返回自定义的状态码和响应信息。
参数配置
名称 | 类型 | 必选项 | 默认值 | 有效值 | 描述 |
---|---|---|---|---|---|
conn | integer | 是 | conn > 0 | 允许的最大并发请求数。超过 conn 的限制、但是低于 conn + burst 的请求,将被延迟处理。 | |
burst | integer | 是 | burst >= 0 | 每秒允许被延迟处理的额外并发请求数。 | |
default_conn_delay | number | 是 | default_conn_delay > 0 | 默认的典型连接(或请求)的处理延迟时间。 | |
only_use_default_delay | boolean | 否 | false | [true,false] | 延迟时间的严格模式。当设置为 true 时,将会严格按照设置的 default_conn_delay 时间来进行延迟处理。 |
key_type | string | 否 | "var" | ["var", "var_combination"] | key 的类型。 |
key | string | 是 | 用来做请求计数的依据。如果 key_type 为 "var",那么 key 会被当作变量名称,如 remote_addr 和 consumer_name;如果 key_type 为 "var_combination",那么 key 会当作变量组合,如 $remote_addr $consumer_name;如果 key 的值为空,$remote_addr 会被作为默认 key。 | ||
rejected_code | string | 否 | 503 | [200,...,599] | 当请求数超过 conn + burst 阈值时,返回的 HTTP 状态码。 |
rejected_msg | string | 否 | 非空 | 当请求数超过 conn + burst 阈值时,返回的信息。 | |
allow_degradation | boolean | 否 | false | 当设置为 true 时,启用插件降级并自动允许请求继续。 |
key 是可以被用户自定义的,只需要修改插件的一行代码即可完成。并没有在插件中放开是处于安全的考虑。
图形化插件操作基本上都差不多,我这里就不适用图形化了,直接使用curl json,同样官方也提供JSON的格式的案例
创建演示案例
- host 为apisix.i4t.com域名
- upstream 为httpbin.org
- upsteam .prot为80端口
- location 为匹配/anything/*流量转发到httpbin.org中
curl http://127.0.0.1:9180/apisix/admin/routes/1
-H 'X-API-KEY: edaacc2vvvv3bbb5f136f87ad84b625c8f1' -X PUT -d '
{
"uri": "/anything/*",
"name": "abcdocker http limit test",
"methods": [
"GET"
],
"host": "apisix.i4t.com",
"upstream": {
"nodes": [
{
"host": "httpbin.org",
"port": 80,
"weight": 1
}
],
"type": "roundrobin",
"hash_on": "vars",
"scheme": "http",
"pass_host": "pass"
},
"status": 1
}'
访问测试
root@abcdocker:~# curl -i -X GET "http://127.0.0.1:9080/anything/foo?arg=10" -H "Host: apisix.i4t.com"
HTTP/1.1 200 OK
Content-Type: application/json
Content-Length: 434
Connection: keep-alive
Date: Mon, 18 Sep 2023 07:22:01 GMT
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true
Server: APISIX/3.5.0
{
"args": {
"arg": "10"
},
"data": "",
"files": {},
"form": {},
"headers": {
"Accept": "*/*",
"Host": "apisix.i4t.com",
"User-Agent": "curl/7.81.0",
"X-Amzn-Trace-Id": "Root=1-6507fa99-5204850218d9ac454a2af990",
"X-Forwarded-Host": "apisix.i4t.com"
},
"json": null,
"method": "GET",
"origin": "172.18.0.1, 178.170.46.156",
"url": "http://apisix.i4t.com/anything/foo?arg=10"
}
启用插件
这里我使用 APISIX dashboard路由,启用插件后,在这条路由资源上,APISIX 将只允许一个连接;当有更多连接进入时,APISIX 会直接返回 503 HTTP 状态码,拒绝连接。
curl http://127.0.0.1:9180/apisix/admin/routes/1
-H 'X-API-KEY: edaacc2vvvv3bbb5f136f87ad84b625c8f1' -X PUT -d '
{
"uri": "/*",
"name": "APISIX dashboard",
"desc": "APISIX dashboard代理 ",
"methods": [
"GET",
"POST",
"PUT",
"DELETE",
"PATCH",
"HEAD",
"OPTIONS",
"CONNECT",
"TRACE",
"PURGE"
],
"hosts": [
"apisix.test.cn",
"apisix.frps.fun"
],
"plugins": {
"limit-conn": {
"allow_degradation": false,
"burst": 0,
"conn": 1,
"default_conn_delay": 0.1,
"key": "remote_addr",
"key_type": "var",
"only_use_default_delay": false,
"rejected_code": 503
}
},
"upstream_id": "478387915227923136",
"status": 1
}'
limit-count 插件配置使用
限制请求速度的插件,使用的是漏桶算法。
漏桶算法(Leaky Bucket Algorithm)是一种用于流量控制和限流的经典算法。其基本原理是将请求放入一个有固定容量的“桶”中,桶内的请求以固定速率传出。当桶满时,新进入的请求将被丢弃。漏桶算法可以保证处理请求的速率恒定,从而有效防止流量激增导致的服务不稳定。
参数解释
名称 | 类型 | 必选项 | 默认值 | 有效值 | 描述 |
---|---|---|---|---|---|
count | integer | 是 | count > 0 | 每个客户端在指定时间窗口内的总请求数量阈值。 | |
time_window | integer | 是 | time_window > 0 | 时间窗口的大小(以秒为单位)。超过该属性定义的时间,则会重新开始计数。 | |
key_type | string | 否 | "var" | ["var", "var_combination", "constant"] | key 的类型。 |
key | string | 否 | "remote_addr" | 用来做请求计数的依据。如果 key_type 为 constant,那么 key 会被当作常量;如果 key_type 为 var,那么 key 会被当作变量;如果 key_type 为 var_combination,那么 key 会被当作变量组合,如 $remote_addr $consumer_name,插件会同时受 $remote_addr 和 $consumer_name 两个变量的约束;如果 key 的值为空,$remote_addr 会被作为默认 key。 | |
rejected_code | integer | 否 | 503 | [200,...,599] | 当请求超过阈值被拒绝时,返回的 HTTP 状态码。 |
rejected_msg | string | 否 | 非空 | 当请求超过阈值被拒绝时,返回的响应体。 | |
policy | string | 否 | "local" | ["local", "redis", "redis-cluster"] | 用于检索和增加限制计数的策略。当设置为 local 时,计数器被以内存方式保存在节点本地;当设置为 redis 时,计数器保存在 Redis 服务节点上,从而可以跨节点共享结果,通常用它来完成全局限速;当设置为 redis-cluster 时,使用 Redis 集群而不是单个实例。 |
allow_degradation | boolean | 否 | false | 当插件功能临时不可用时(例如 Redis 超时),当设置为 true 时,则表示可以允许插件降级并进行继续请求的操作。 | |
show_limit_quota_header | boolean | 否 | true | 当设置为 true 时,在响应头中显示 X-RateLimit-Limit(限制的总请求数)和 X-RateLimit-Remaining(剩余还可以发送的请求数)字段。 | |
group | string | 否 | 非空 | 配置相同 group 的路由将共享相同的限流计数器。 | |
redis_host | string | 否 | 当使用 redis 限速策略时,Redis 服务节点的地址。当 policy 属性设置为 redis 时必选。 | ||
redis_port | integer | 否 | 6379 | [1,...] | 当使用 redis 限速策略时,Redis 服务节点的端口。 |
redis_username | string | 否 | 若使用 Redis ACL 进行身份验证(适用于 Redis 版本 >=6.0),则需要提供 Redis 用户名。若使用 Redis legacy 方式 requirepass 进行身份验证,则只需将密码配置在 redis_password。当 policy 设置为 redis 时使用。 | ||
redis_password | string | 否 | 当使用 redis 或者 redis-cluster 限速策略时,Redis 服务节点的密码。 | ||
redis_ssl | boolean | 否 | false | 当使用 redis 限速策略时,如果设置为 true,则使用 SSL 连接到 redis | |
redis_ssl_verify | boolean | 否 | false | 当使用 redis 限速策略时,如果设置为 true,则验证服务器 SSL 证书的有效性,具体请参考 tcpsock:sslhandshake. | |
redis_database | integer | 否 | 0 | redis_database >= 0 | 当使用 redis 限速策略时,Redis 服务节点中使用的 database,并且只针对非 Redis 集群模式(单实例模式或者提供单入口的 Redis 公有云服务)生效。 |
|redis_timeout| integer | 否| 1000| [1,...] |当 policy 设置为 redis 或 redis-cluster 时,Redis 服务节点的超时时间(以毫秒为单位)|
|redis_cluster_nodes| array| 否| | |当使用 redis-cluster 限速策略时,Redis 集群服务节点的地址列表(至少需要两个地址)。当 policy 属性设置为 redis-cluster 时必选|
|redis_cluster_name |string |否 | | |当使用 redis-cluster 限速策略时,Redis 集群服务节点的名称。当 policy 设置为 redis-cluster 时必选。|
|redis_cluster_ssl| boolean |否 | false| |当使用 redis-cluster 限速策略时,如果设置为 true,则使用 SSL 连接到 redis-cluster|
|redis_cluster_ssl_verify |boolean| 否| false | |当使用 redis-cluster 限速策略时,如果设置为 true,则验证服务器 SSL 证书的有效性|
启用插件
参数限制time_window 60秒内,设备、IP超过2次请求,返回503错误
curl http://127.0.0.1:9180/apisix/admin/routes/1
-H 'X-API-KEY: edaacc2vvvv3bbb5f136f87ad84b625c8f1' -X PUT -d '
{
"uri": "/anything/*",
"name": "abcdocker http limit test",
"methods": [
"GET"
],
"host": "apisix.i4t.com",
"plugins": {
"limit-count": {
"count": 2,
"time_window": 60,
"rejected_code": 503,
"key_type": "var",
"key": "remote_addr"
}
},
"upstream": {
"nodes": [
{
"host": "httpbin.org",
"port": 80,
"weight": 1
}
],
"timeout": {
"connect": 6,
"send": 6,
"read": 6
},
"type": "roundrobin",
"scheme": "http",
"pass_host": "pass",
"keepalive_pool": {
"idle_timeout": 60,
"requests": 1000,
"size": 320
}
},
"status": 1
}'
插件参数解释
如果需要删除插件,可以直接在dashboard 删除"limit-count"相关配置字段
"plugins": { #插件选项
"limit-count": { #使用limit-count插件
"count": 2, #请求2次
"time_window": 60, #60秒内的操作
"rejected_code": 503, #返回错误码
"key_type": "var",
"key": "remote_addr"
}
},
测试效果图
curl -I -X GET "http://192.168.0.6:9080/anything/foo?arg=10" -H "Host: apisix.i4t.com"
#如果开启了 80和 443,也可以使用80端口
limit-cont支持在多个路由间共享同一个限流计数器。首先通过以下命令创建一个服务:
#首先通过以下命令创建一个服务:
curl -i http://127.0.0.1:9180/apisix/admin/services/1
-H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
"plugins": {
"limit-count": {
"count": 1,
"time_window": 60,
"rejected_code": 503,
"key": "remote_addr",
"group": "services_1#1640140620"
}
},
"upstream": {
"type": "roundrobin",
"nodes": {
"127.0.0.1:1980": 1
}
}
}'
然后为路由配置 service_id 为 1 ,不同路由将共享同一个计数器:
curl -i http://127.0.0.1:9180/apisix/admin/routes/1
-H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
"service_id": "1",
"uri": "/hello"
}'
curl -i http://127.0.0.1:9180/apisix/admin/routes/2
-H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
"service_id": "1",
"uri": "/hello2"
}'
通过将 key_type 设置为 "constant",你也可以在所有请求间共享同一个限流计数器:
curl -i http://127.0.0.1:9180/apisix/admin/services/1
-H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
"plugins": {
"limit-count": {
"count": 1,
"time_window": 60,
"rejected_code": 503,
"key": "remote_addr",
"key_type": "constant",
"group": "services_1#1640140621"
}
},
"upstream": {
"type": "roundrobin",
"nodes": {
"127.0.0.1:1980": 1
}
}
}'
以上配置表示:当多个路由中 limit-count 插件的 group 属性均配置为 services_1#1640140620
时,访问这些路由的请求将会共享同一个计数器,即使这些请求来自于不同的 IP 地址。
同一个 group 里面的 limit-count 的配置必须保持一致。如果修改配置,需要同时更新对应的 group 的值。
使用redis,可以将不同的 APISIX 节点之间将共享流量限速结果,实现集群流量限速。
redis单节点的配置
curl -i http://127.0.0.1:9180/apisix/admin/routes/1
-H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
"uri": "/index.html",
"plugins": {
"limit-count": {
"count": 2,
"time_window": 60,
"rejected_code": 503,
"key": "remote_addr",
"policy": "redis",
"redis_host": "127.0.0.1",
"redis_port": 6379,
"redis_password": "password",
"redis_database": 1,
"redis_timeout": 1001
}
},
"upstream": {
"type": "roundrobin",
"nodes": {
"127.0.0.1:1980": 1
}
}
}'
也可以使用redis Cluster
curl -i http://127.0.0.1:9180/apisix/admin/routes/1
-H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
"uri": "/index.html",
"plugins": {
"limit-count": {
"count": 2,
"time_window": 60,
"rejected_code": 503,
"key": "remote_addr",
"policy": "redis-cluster",
"redis_cluster_nodes": [
"127.0.0.1:5000",
"127.0.0.1:5001"
],
"redis_password": "password",
"redis_cluster_name": "redis-cluster-1"
}
},
"upstream": {
"type": "roundrobin",
"nodes": {
"127.0.0.1:1980": 1
}
}
}'