构建回归任务CNN：图片URL下载与最优存储方案咨询

最优图片存储方式 #

• 按唯一ID命名的本地文件结构：直接用product_id作为图片文件名（比如{product_id}.jpg），存储到单独的文件夹（如./product_images/）。这种方式最直观，能快速关联数据框中的product_id和对应图片，避免文件名冲突，后续加载时也能通过ID直接映射到price标签。
• 统一图片格式：下载后将所有图片转成JPG或PNG格式（优先JPG，占用空间更小），避免因格式不兼容导致训练时加载失败。
• 大规模数据可选结构化存储：如果数据集超过10万级，可考虑用TFRecord（TensorFlow生态）或HDF5格式打包存储，能提升批量读取效率，减少磁盘IO开销。但中小规模数据用本地文件系统足够，维护成本更低。

推荐的下载函数与实现 #

用Python的requests做网络请求，Pillow处理图片保存，配合异常处理保证遍历稳定性：

import os
import requests
from PIL import Image
from io import BytesIO
import pandas as pd

def download_product_images(df, save_dir="./product_images/"):
    # 创建存储目录
    os.makedirs(save_dir, exist_ok=True)
    
    for idx, row in df.iterrows():
        product_id = row["product_id"]
        img_url = row["picture_url"]
        save_path = os.path.join(save_dir, f"{product_id}.jpg")
        
        # 跳过已下载的图片
        if os.path.exists(save_path):
            continue
            
        try:
            # 发送请求下载图片，设置超时避免卡住
            response = requests.get(img_url, timeout=10)
            response.raise_for_status()  # 捕获HTTP错误
            
            # 读取并保存图片，统一转成RGB格式的JPG
            with Image.open(BytesIO(response.content)) as img:
                img.convert("RGB").save(save_path, "JPEG", quality=90)
                
        except Exception as e:
            print(f"下载失败 {product_id}: {str(e)}")
            continue

# 调用示例
df = pd.read_csv("your_data.csv")
download_product_images(df)

训练时的图片加载建议 #

训练CNN时，直接通过product_id关联图片路径和price标签：

• TensorFlow用户：用tf.data.Dataset.from_tensor_slices构建数据集，自定义加载函数读取图片并预处理（resize、归一化等）。
• PyTorch用户：自定义Dataset类，在__getitem__方法中根据product_id读取图片，返回图片张量和price标签。

内容的提问来源于stack exchange，提问作者Stuck