如何正确将PyTorch张量或OpenCV图像作为OpenAI CLIP的输入？

报错原因说明 #

Process finished with exit code 137 (interrupted by signal 9: SIGKILL) 通常是内存不足导致系统强制终止进程，大概率是图像尺寸过大或预处理流程不符合CLIP要求。

一、OpenCV图像的正确输入流程 #

CLIP的preprocess接口是为PIL图像设计的，直接传入numpy数组或torch张量容易触发内存异常，正确步骤如下：

1. 确认OpenCV图像已转换为RGB格式（你已完成此步骤），且数据类型为uint8（像素值0-255）
2. 将numpy数组转换为PIL图像
3. 用clip_preprocess处理后生成批量张量，再移至目标设备

示例代码：

import cv2
import torch
import clip
from PIL import Image

device = "cuda" if torch.cuda.is_available() else "cpu"
clip_model, clip_preprocess = clip.load("ViT-B/32", device=device)

# 假设OpenCVImage是已转RGB的numpy数组（形状为HWC，uint8类型）
pil_image = Image.fromarray(OpenCVImage)
# 预处理并生成单样本batch
input_tensor = clip_preprocess(pil_image).unsqueeze(0).to(device)

# 执行推理（可选）
with torch.no_grad():
    image_features = clip_model.encode_image(input_tensor)

二、PyTorch张量的正确输入流程 #

若输入是PyTorch张量，需满足以下条件后转换为PIL图像再处理：

• 张量数据类型为uint8
• 形状为HWC（高度、宽度、通道）
• 通道顺序为RGB

示例代码：

import torch
import clip
from PIL import Image

device = "cuda" if torch.cuda.is_available() else "cpu"
clip_model, clip_preprocess = clip.load("ViT-B/32", device=device)

# 假设torch_tensor是uint8类型、HWC形状、RGB通道的张量
pil_image = Image.fromarray(torch_tensor.cpu().numpy())
input_tensor = clip_preprocess(pil_image).unsqueeze(0).to(device)

内存问题解决建议 #

1. 缩小图像尺寸：若原图分辨率极高（如4K及以上），可先手动resize到224x224（CLIP默认输入尺寸），减少内存占用
2. 分批处理：批量处理图像时，不要一次性加载所有数据，分批次处理并及时释放无用变量
3. 清理GPU缓存：在推理间隙执行torch.cuda.empty_cache()，释放未使用的GPU内存

内容的提问来源于stack exchange，提问作者werber bang