在网络开发中，我们经常会遇到需要在两个单独的速率限制端点之间进行同步请求的情况。这时，我们需要找到一种方法来确保请求在合适的时间内发送，并且在达到速率限制时进行等待。在这篇文章中，php小编苹果将会介绍一种解决方案，帮助您实现这种同步请求的功能，确保数据的准确性和稳定性。让我们来看看这个解决方案的具体实现吧！
问题内容
我正在使用一些第三方 api，每个 api 都有自己的速率限制。端点1的速率限制为10/s，端点2的速率限制为20/s。
我需要通过端点 1 处理数据，该端点将返回一个对象数组（2-3000 个对象之间）。然后，我需要获取每个对象并将一些数据发送到第二个端点，同时遵守第二个端点的速率限制。
我计划在 go 例程中一次批量发送 10 个请求，确保如果所有 10 个请求都在
最终，我希望能够限制每个端点一次发出的并发响应数量。特别是如果我必须针对由于服务器 500 多个响应等原因导致的失败请求进行重试。
出于问题的目的，我使用 httpbin 请求来模拟以下场景：
package main
import (
"bytes"
"encoding/json"
"fmt"
"io"
"net/http"
"sync"
"time"
)
type HttpBinGetRequest struct {
url string
}
type HttpBinGetResponse struct {
Uuid string `json:"uuid"`
StatusCode int
}
type HttpBinPostRequest struct {
url string
uuid string // Item to post to API
}
type HttpBinPostResponse struct {
Data string `json:"data"`
StatusCode int
}
func main() {
// Prepare GET requests for 500 requests
var requests []*HttpBinGetRequest
for i := 0; i 登录后复制
解决方法
这是生产者/消费者模式。您可以使用 chan 来连接它们。
关于速率限制器，我会使用包 golang.org/x/time/rate。
既然我们决定使用chan来连接生产者和消费者，那么很自然地将失败的任务发送到同一个chan，以便消费者可以再次尝试。
我已将逻辑封装到 scheduler[t] 类型中。请参阅下面的演示。请注意，该演示是匆忙编写的，仅用于说明想法。尚未经过彻底测试。
package main
import (
"context"
"fmt"
"io"
"log"
"math/rand"
"net/http"
"net/http/httptest"
"sort"
"sync"
"time"
"golang.org/x/time/rate"
)
type task[t any] struct {
param t
failedcount int
}
type scheduler[t any] struct {
name string
limit int
maxtries int
wg sync.waitgroup
tasks chan task[t]
action func(param t) error
}
// newscheduler creates a scheduler that runs the action with the specified rate limit.
// it will retry the action if the action returns a non-nil error.
func newscheduler[t any](name string, limit, maxtries, chansize int, action func(param t) error) *scheduler[t] {
return &scheduler[t]{
name: name,
limit: limit,
maxtries: maxtries,
tasks: make(chan task[t], chansize),
action: action,
}
}
func (s *scheduler[t]) addtask(param t) {
s.wg.add(1)
s.tasks 0 {
fmt.printf(" %d: %dn", to, count)
}
}
登录后复制
输出如下所示：
...
2023/03/25 21:03:30 GETS (total: 112):
1679749398998: 10
1679749399998: 10
1679749400998: 10
1679749401998: 10
1679749402998: 10
1679749403998: 10
1679749404998: 10
1679749405998: 10
1679749406998: 10
1679749407998: 10
1679749408998: 10
1679749409998: 2
2023/03/25 21:03:30 POSTS (total: 111):
1679749399079: 8
1679749400079: 8
1679749401079: 12
1679749402079: 8
1679749403079: 10
1679749404079: 9
1679749405079: 9
1679749406079: 8
1679749407079: 14
1679749408079: 12
1679749409079: 9
1679749410079: 4
登录后复制
以上就是在两个单独的速率限制端点之间同步请求的详细内容，更多请关注每日运维网(www.mryunwei.com)其它相关文章！
