如何为Ollama的Gemma2:27b模型正确加载本地图片？

问题背景 #

本地运行的Gemma2:27b模型聊天功能正常，但加载本地图片时三种测试方式均失败：

1. 传入PIL.Image对象：返回ollama._types.RequestError: image must be bytes, path-like object, or file-like object
2. 传入PIL.Image.tobytes()的结果：模型返回Please provide me with the image!
3. 传入图片路径字符串：模型同样返回Please provide me with the image!

解决方法 #

1. 正确传递图片数据 #

使用二进制模式读取图片文件，将字节数据传入generate方法的images参数：

import os.path
from dotenv import load_dotenv
from ollama import generate

load_dotenv()
CHAT_MODEL_NAME = os.getenv("MODEL_NAME_LATEST")

image_path = os.path.join("data", "image_one.jpg")

# 以二进制模式读取图片字节
with open(image_path, 'rb') as img_file:
    image_data = img_file.read()

# 调用generate方法传入图片字节
for response in generate(CHAT_MODEL_NAME, 'What do you see', images=[image_data], stream=True):
    print(response['response'], end='', flush=True)

2. 确认模型支持多模态 #

默认的Gemma2:27b模型可能不包含视觉能力，需要确保拉取的是支持视觉的版本，例如拉取带视觉后缀的模型：

ollama pull gemma2:27b-vision

之后将环境变量MODEL_NAME_LATEST设置为gemma2:27b-vision再测试。

补充说明 #

• 避免直接传入PIL.Image对象，因为ollama-python的generate方法不支持该类型，仅接受字节、路径字符串或文件对象
• 若使用路径字符串，需确保路径是绝对路径，或当前工作目录正确，避免因相对路径导致模型无法找到图片

内容的提问来源于stack exchange，提问作者Linda Lawton - DaImTo