C# Bot Framework调用Azure OpenAI GPT-4o图像分析失败排查

问题概述 #

使用C# Bot Framework SDK调用Azure OpenAI的GPT-4o模型做图像分析时，收到“无法直接分析图像文件或URL”的回复，但同一图像在Azure OpenAI Studio或Python调用中可正常分析，核心疑问是构造图像消息的代码是否存在问题。

核心代码问题 #

你当前构造图像消息的方式是错误的：直接把JSON格式字符串作为ChatMessage的内容传入，SDK会将其视为普通文本，而非结构化的多模态图像内容，导致GPT-4o无法识别图像数据。

错误代码片段：

new ChatMessage(ChatRole.User, $"{{\"type\": \"image_url\", \"image_url\": \"data:image/png;base64,{base64Image}\"}}")

正确的多模态消息构造方式 #

Azure.AI.OpenAI SDK针对多模态消息提供了专门的ChatMessageContentItem类型，需要把文本提示和图像内容作为不同的内容项添加到同一条用户消息中，而非拆分多条消息。

修正后的代码片段：

string base64Image = Convert.ToBase64String(imageBytes);
// 获取实际图像的ContentType，避免硬编码png
string imageContentType = attachment.ContentType; // 例如"image/png"或"image/jpeg"

ChatCompletionsOptions gpt4Options = new ChatCompletionsOptions()
{
    Messages =
    {
        new ChatMessage(ChatRole.System, "You are an AI assistant that helps people find information."),
        new ChatMessage(ChatRole.User, new List<ChatMessageContentItem>()
        {
            new TextContentItem("Here's an image for you to analyze."),
            new ImageUrlContentItem(new Uri($"data:{imageContentType};base64,{base64Image}"))
        })
    },
    Temperature = (float)0.7,
    MaxTokens = 800,
    NucleusSamplingFactor = (float)0.95,
    FrequencyPenalty = 0,
    PresencePenalty = 0,
};

其他注意事项 #

• SDK版本：确保使用的Azure.AI.OpenAI NuGet包是最新版本（至少1.0.0及以上），旧版本可能不支持多模态消息的正确构造。
• 图像格式匹配：不要硬编码image/png，要根据实际图像的ContentType设置，避免格式不匹配导致模型无法解析。
• 消息结构：文本提示和图像必须放在同一条ChatMessage的内容项列表中，拆分多条消息会导致模型无法关联文本和图像。

开发者反馈情况 #

确实有不少开发者遇到过相同问题，主要原因都是手动拼接JSON字符串作为消息内容，而非使用SDK提供的多模态内容类型。改用ChatMessageContentItem构造消息后，问题普遍得到解决。

内容的提问来源于stack exchange，提问作者mahelsay