PyTorch Geometric中如何将同一图像两类图表示存入不同处理目录？

1. 完全支持分目录存储，最优方案：自定义Dataset子类 #

PyTorch Geometric的Dataset类允许通过重写processed_dir属性，自定义处理后数据的存储路径，完全可以实现全局/局部图的分目录存储。这种方式能复用框架自带的缓存、加载逻辑，是最规范的实现方式。

代码示例：自定义面部图数据集 #

import torch
from torch_geometric.data import Dataset, Data

class FaceGraphDataset(Dataset):
    def __init__(self, root, mode='global', transform=None, pre_transform=None):
        self.mode = mode  # 指定当前是全局图还是局部图模式
        super().__init__(root, transform, pre_transform)

    # 重写processed_dir，根据mode生成不同的存储目录
    @property
    def processed_dir(self):
        return f"{self.root}/processed_{self.mode}"

    # 定义处理后文件的命名规则（需与raw文件一一对应）
    @property
    def processed_file_names(self):
        return [f"data_{idx}.pt" for idx in range(len(self.raw_file_names))]

    # 核心处理逻辑：根据mode生成对应图表示
    def process(self):
        for idx, raw_img_path in enumerate(self.raw_file_names):
            # 1. 读取原始图像、标签等（此处需替换为你的面部数据读取逻辑）
            # img = cv2.imread(raw_img_path)
            # label = ...
            
            # 2. 根据mode生成对应图结构
            if self.mode == 'global':
                # 构建全局图：例如将面部整体特征作为节点，或生成全局感知的图结构
                global_x = torch.randn(1, 512)  # 示例全局特征
                global_edge_index = torch.tensor([[0], [0]], dtype=torch.long)  # 示例边索引
                data = Data(x=global_x, edge_index=global_edge_index, y=torch.tensor([0]))
            else:
                # 构建局部图：例如将面部区域（眼睛、鼻子、嘴巴等）作为独立节点
                local_x = torch.randn(5, 128)  # 5个区域节点，每个128维特征
                local_edge_index = torch.tensor([[0,1,2,3,4], [1,2,3,4,0]], dtype=torch.long)  # 示例边索引
                data = Data(x=local_x, edge_index=local_edge_index, y=torch.tensor([0]))
            
            # 3. 将生成的图数据保存到对应mode的目录
            torch.save(data, self.processed_paths[idx])

加载数据集 #

分别初始化两个Dataset实例，即可加载不同目录下的全局/局部图数据：

# 加载全局图数据集，存储目录为./face_data/processed_global
global_dataset = FaceGraphDataset(root="./face_data", mode="global")
# 加载局部图数据集，存储目录为./face_data/processed_local
local_dataset = FaceGraphDataset(root="./face_data", mode="local")

2. DataList的适用场景说明 #

DataList是PyTorch Geometric中用于封装多个Data对象的容器，它更适合在内存中同时持有同一样本的多种图表示，但本身不支持将不同图表示持久化到不同目录。如果你的需求是把同一图像的全局+局部图存在同一个文件里，可以在process方法中生成DataList并保存，但这样所有数据仍会存在同一个processed目录下，无法实现分目录存储。

因此，若需要严格分开存储两种图表示，自定义Dataset的方式是更优选择。

3. 训练时的样本匹配技巧 #

因为全局和局部数据集对应同一批原始图像，训练时需要保证两个数据集的样本顺序一致。可以通过设置相同的随机种子来实现：

from torch_geometric.loader import DataLoader

# 设置相同的随机生成器，保证shuffle时样本顺序一致
seed = 42
generator = torch.Generator().manual_seed(seed)

global_loader = DataLoader(global_dataset, batch_size=32, shuffle=True, generator=generator)
local_loader = DataLoader(local_dataset, batch_size=32, shuffle=True, generator=generator)

# 遍历两个loader，同时获取同一图像的全局、局部图
for global_batch, local_batch in zip(global_loader, local_loader):
    # 提取全局特征
    global_feat = global_model(global_batch.x, global_batch.edge_index)
    # 提取局部特征
    local_feat = local_model(local_batch.x, local_batch.edge_index)
    # 融合特征后执行分类逻辑
    combined_feat = torch.cat([global_feat, local_feat], dim=1)
    pred = classifier(combined_feat)
    # 后续损失计算、反向传播等逻辑

总结 #

• 分目录存储完全可行，最优方案是自定义Dataset子类并重写processed_dir属性，根据图类型指定独立存储目录。
• DataList适合内存中多图表示的临时封装，但不满足分目录持久化的需求。
• 训练时通过设置相同随机种子，可保证全局/局部数据集的样本匹配。

内容的提问来源于stack exchange，提问作者GPS-999