You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

如何将Dataset代码转换为DataFrame 代码转换技术问题求助

PyTorch Dataset 转 Pandas DataFrame 实现方法

以下方法适用于torch.utils.data.Dataset类型的对象转Pandas DataFrame场景:

  • 通用实现逻辑
    遍历Dataset对象取出全部样本,整理为可被Pandas解析的列表结构后直接传入pd.DataFrame()构造即可。
  • 示例代码(Dataset返回字典结构)
    如果你的自定义Dataset返回的是带字段名的字典结构,可直接遍历拼接:
import pandas as pd

# my_dataset为已实例化的Dataset对象
data = [item for item in my_dataset]
df = pd.DataFrame(data)
  • 示例代码(Dataset返回元组结构)
    如果Dataset返回的是按顺序排列的特征/标签元组,需要自行指定列名:
import pandas as pd

data = []
# 示例:每个样本返回格式为(用户ID, 商品ID, 评分)
for user_id, item_id, rating in my_dataset:
    data.append({
        "user_id": user_id,
        "item_id": item_id,
        "rating": rating
    })

df = pd.DataFrame(data)
  • 注意事项
    若样本中包含PyTorch张量类型数据,需要先调用.numpy()方法转换为numpy数组,避免DataFrame存储格式异常:
# 张量转存示例
for img_tensor, label in my_dataset:
    data.append({
        "img_array": img_tensor.numpy(),
        "label": label
    })

内容的提问来源于stack exchange,提问作者Navendra Gupta

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.09.28 17:15:05