Python中嵌套NLP数据集的最优结构选型咨询

你的初始字典结构能体现数据层级，但存在几个明显问题：不同文档下的context1、S1键名重复，遍历定位时容易混淆；结构扩展性差，后续要加文档/上下文/句子的元数据（比如来源、主题）会很麻烦。下面给出两种更便于编码遍历和操作的方案：

方案一：结构化嵌套列表+字典（推荐） #

用列表存储同层级对象，每个对象包含唯一标识和内容，既保留层级关系，又避免键名冲突：

ds = [
    {
        "文档ID": "doc1",
        "子上下文列表": [
            {
                "上下文ID": "context1",
                "句子列表": [
                    {
                        "句子ID": "S1",
                        "句子内容": "具体句子文本",
                        "对应问题": ["问题1内容", "问题2内容", "问题3内容"]
                    },
                    {
                        "句子ID": "S2",
                        "句子内容": "具体句子文本",
                        "对应问题": ["问题1内容", "问题2内容", "问题3内容"]
                    }
                ]
            },
            {
                "上下文ID": "context2",
                "句子列表": [...]
            }
        ]
    },
    {
        "文档ID": "doc2",
        "子上下文列表": [...]
    }
]

优势： #

• 遍历逻辑清晰：可通过嵌套循环逐层遍历文档→上下文→句子→问题，每个层级对象都有明确标识，不会混淆
• 扩展性强：后续给任意层级添加属性（如文档来源、上下文主题），直接新增键即可
• 可读性高：语义化键名，代码维护时更容易理解

方案二：扁平化结构（适合批量操作场景） #

如果业务更偏向批量查询、过滤或用数据分析工具（如Pandas）处理，可将数据平铺到问题级别，每个条目包含所有层级标识：

ds = [
    {
        "文档ID": "doc1",
        "上下文ID": "context1",
        "句子ID": "S1",
        "句子内容": "具体句子文本",
        "问题ID": "q1",
        "问题内容": "问题1文本"
    },
    {
        "文档ID": "doc1",
        "上下文ID": "context1",
        "句子ID": "S1",
        "句子内容": "具体句子文本",
        "问题ID": "q2",
        "问题内容": "问题2文本"
    },
    ...
]

优势： #

• 批量操作便捷：比如筛选某篇文档下的所有问题，直接按文档ID过滤即可
• 适配数据分析工具：可直接导入Pandas生成DataFrame，方便统计、筛选等操作
• 避免嵌套层级过深带来的遍历复杂度

内容的提问来源于stack exchange，提问作者Kait