Azure OpenAI o1模型是否支持类似GPT Vision的图像分析功能？

结论 #

Azure OpenAI的o1系列模型不支持图像分析功能，它是专注于复杂文本推理任务的纯文本模型，无法处理图像输入。

详细说明 #

o1系列（包括o1-preview和o1-mini）的核心定位是解决数学推导、逻辑推理、代码调试与解释等复杂文本类问题，并未集成计算机视觉能力。你提供的代码示例是针对多模态模型（如GPT-4o、GPT-4o-mini）编写的，这类模型才具备图像分析能力。

如果需要在Azure OpenAI中实现图像分析需求，应当选择GPT-4o或GPT-4o-mini这类支持多模态输入的模型，而非o1系列。

代码说明（针对支持图像的模型） #

你提供的代码本身是正确的多模态调用方式，只需确保使用支持图像的模型即可：

from openai import OpenAI
client = OpenAI()

response = client.chat.completions.create(
    model="gpt-4o-mini",  # 或 "gpt-4o"
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "What's in this image?"},
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg",
                    },
                },
            ],
        }
    ],
    max_tokens=300,
)

print(response.choices[0])

内容的提问来源于stack exchange，提问作者Dinesh Sonachalam