OpenAI 速率限制建议

请在此处查看我们更新的指南。

每一个组织都受速率限制的束缚，速率限制决定了每秒可以发送多少要求。要求已到达此速率限制。

速率限制可以量化，这意味着它们在更短的时间内强迫履行（例如，60,000 个要求/分钟可以强迫履行为 1,000 个要求/秒）。发送太长的短暂要求或上下文 (prompts+max_tokens) 会致使速率限制毛病，即便您在技术上低于每分钟速率限制也是如此。

我该怎么解决？

• 在您的代码中包括指数退避逻辑。这将捕获并重试失败的要求。

• 对令牌限制

  • 减少max_tokens以匹配完成的大小。使用需求是根据此值估算的，因此下降它会下降您意外收到速率限制毛病的可能性。例如，如果您的提示创建大约 400 个令牌的完成，则 max_tokens 值应当大约相同大小。

  • 优化您的提示。您可以通过缩短说明、删除过剩的单词和删除过剩的示例来做到这一点。您可能需要处理您的提示并在这些更改后对其进行测试，以确保它依然可以正常工作。较短提示的额外好处是可以下降您的本钱。如果您需要帮助，请告知我们。

• 对要求限制

  • 在一个数组中批处理你的提示。这将减少您需要提出的要求数量。prompt 参数最多可以包括 20 个区别的提示。

ChatGPT中国体验版https://go.guigege.cn