CLIP模型图像嵌入形状调整：将(n,)转为(n,512)的问题

你的核心问题是：df['url'].apply(embed_url_img)会将每张图片生成的(512,)一维数组单独存储为DataFrame单元格的元素，最终得到的是形状为(n,)的列（每个元素是(512,)数组），而非直接生成(n,512)的二维numpy数组。以下是两种解决方法：

方法一：快速修正现有结果 #

在生成df['embeddings']列后，使用numpy.vstack将所有一维嵌入堆叠成二维数组：

import numpy as np

# 将DataFrame列中的所有一维数组堆叠为(n, 512)的二维数组
final_embeddings = np.vstack(df['embeddings'].values)
print(final_embeddings.shape)  # 输出应为 (n, 512)

方法二：更高效的批量处理（推荐） #

逐行apply处理效率较低，改为批量加载图片并输入模型，直接生成目标形状的嵌入：

from PIL import Image
from urllib.request import urlopen

# 批量加载所有图片（可添加异常处理）
images = []
for img_url in df['url']:
    try:
        img = Image.open(urlopen(img_url))
        images.append(img)
    except Exception as e:
        print(f"加载图片失败 {img_url}: {e}")
        # 可选：为加载失败的图片添加占位嵌入，比如零向量
        # images.append(Image.fromarray(np.zeros((224,224,3), dtype=np.uint8)))

# 批量预处理图片
inputs = processor(images=images, return_tensors="pt", padding=True).to(device)

# 批量生成嵌入（禁用梯度计算节省内存）
with torch.no_grad():
    embeddings = model.get_image_features(**inputs).cpu().numpy()

print(embeddings.shape)  # 直接得到 (n, 512)

补充说明 #

你之前尝试的squeeze、reshape无效，是因为这些操作只处理了单张图片的输出（从(1,512)变为(512,)），但并没有改变apply将单个数组存入DataFrame单元格的逻辑。只有将所有单元格中的一维数组堆叠，才能得到目标形状的二维数组。

内容的提问来源于stack exchange，提问作者EyalG