基于OpenAI CLIP的图像相似度计算及代码问题排查

一、代码报错修复 #

错误原因 #

你直接用CLIPProcessor处理图像时触发了文本输入校验逻辑——CLIPProcessor默认是为图文配对任务设计的，单独传图像会被误判为无效文本输入，从而抛出ValueError。

修正后的代码 #

import torch
from transformers import CLIPProcessor, CLIPModel
from PIL import Image

# 加载CLIP模型
device = "cuda" if torch.cuda.is_available() else "cpu"
model_ID = "openai/clip-vit-base-patch32"
model = CLIPModel.from_pretrained(model_ID).to(device)
processor = CLIPProcessor.from_pretrained(model_ID)

# 定义图像加载与预处理函数
def load_and_preprocess_image(image_path):
    image = Image.open(image_path)
    # 明确指定处理图像，返回张量格式
    processed_data = processor(images=image, return_tensors="pt").to(device)
    # 提取模型所需的图像张量
    return processed_data["pixel_values"]

# 加载并预处理图像
image_a = load_and_preprocess_image('/content/a.png')
image_b = load_and_preprocess_image('/content/b.png')

# 计算图像嵌入向量
with torch.no_grad():
    embedding_a = model.encode_image(image_a)
    embedding_b = model.encode_image(image_b)

# 计算余弦相似度
similarity_score = torch.nn.functional.cosine_similarity(embedding_a, embedding_b)
print('Similarity score:', similarity_score.item())

核心修改点：

• 调用processor时明确指定images参数，避免触发文本校验逻辑
• 从处理器返回结果中提取pixel_values作为模型输入的图像张量

二、服装图像相似度计算的更优方案 #

• 用服装专属预训练模型：比如FashionCLIP（基于CLIP在海量服装数据集上微调）、在DeepFashion/FashionMNIST等数据集上微调的ViT模型，这类模型更精准捕捉服装的版型、纹理、风格等专属特征，比通用CLIP效果更好
• 细粒度特征融合：单独提取服装的颜色直方图、纹理特征、轮廓特征，再和CLIP的全局特征做加权融合，多维度计算相似度
• 大规模检索优化：如果是批量检索场景，用FAISS、Annoy等向量检索库对服装特征向量建索引，提升检索速度；同时加入用户反馈的重排序逻辑，优化结果准确性
• 针对性数据增强：对服装图像做角度旋转、光照调整、背景替换等增强，提升模型对不同拍摄条件下服装的鲁棒性

三、图像尺寸与类型支持说明 #

• 尺寸支持：CLIP的预处理流程会自动将输入图像resize到模型要求的固定尺寸（比如vit-base-patch32对应224×224），不管输入图像是多大尺寸，都会被统一处理，无需手动调整
• 类型支持：支持所有PIL兼容的图像格式，包括PNG、JPG、JPEG、BMP等；如果是WebP这类特殊格式，需先通过PIL转换为常规格式再处理

内容的提问来源于stack exchange，提问作者Furkan Gözükara