如何通过编程获取Azure OpenAI部署计划的速率限制？

LangChain的AzureChatOpenAI本身没有直接提供获取速率限制的方法，但可以通过其底层封装的OpenAI Python SDK客户端来获取，具体步骤如下：

方法一：通过底层OpenAI客户端获取速率限制 #

AzureChatOpenAI实例内部包含了openai.AzureOpenAI客户端，你可以直接调用该客户端的模型查询接口，获取部署的详细信息，其中包含速率限制数据。

示例代码：

from langchain.chat_models import AzureChatOpenAI

# 初始化AzureChatOpenAI实例
azure_chat = AzureChatOpenAI(
    azure_endpoint="你的Azure OpenAI端点",
    azure_deployment="你的部署名称",
    api_key="你的API密钥",
    api_version="2024-02-15-preview"  # 需使用支持返回速率限制的API版本
)

# 获取底层的AzureOpenAI客户端
openai_client = azure_chat.client

# 查询目标部署的详细信息
model_details = openai_client.models.retrieve(model=azure_chat.deployment_name)

# 提取并打印速率限制
if hasattr(model_details.capabilities, 'rate_limits'):
    for limit in model_details.capabilities.rate_limits:
        print(f"限制类型: {limit.name}")
        print(f"每分钟请求数上限: {limit.requests_per_minute}")
        print(f"每分钟令牌数上限: {limit.tokens_per_minute}")

方法二：通过Azure管理API获取（需管理权限） #

如果需要获取更全面的部署计划信息，可调用Azure Cognitive Services的管理API查询部署详情，此方法需要你拥有Azure账号的管理权限（如订阅级别的读取权限）。

注意事项 #

• 确保使用的API版本不低于2023-05-01，旧版本API可能不返回速率限制字段
• 不同的Azure OpenAI部署（如GPT-3.5-turbo、GPT-4）会有不同的速率限制，需针对目标部署查询
• 若使用旧版LangChain，azure_chat.client可能需替换为azure_chat.openai_client，具体取决于LangChain版本

内容的提问来源于stack exchange，提问作者Uladzimir Sharyi