基于Transformer的模型分词前需采用何种数据结构？为何转成字典？

• 适配多任务的多字段需求
  像BERT的句对分类、T5的文本生成、GPT的对话任务，往往需要多个文本或标签字段——比如问答任务要区分问题和上下文，生成任务要区分输入提示和目标输出。字典格式能把这些字段清晰绑定，不会像纯文本那样混淆不同角色的内容。
• 贴合Tokenizer的输入逻辑
  HuggingFace的Tokenizer本身就支持字典输入，比如传入{"text": "你好", "text_pair": "世界"}时，它会自动处理成对文本，生成对应的input_ids、attention_mask，甚至区分句对的token_type_ids。要是用纯文本列表，你得手动拆分字段，反而容易出错。
• 方便扩展与复用元数据
  字典里可以轻松加额外信息，比如样本ID、数据来源、是否是增强后的样本。这些信息在评估模型、分析错误时很有用，还不会干扰核心的文本输入。
• 批量处理时避免字段错位
  用数据加载器批量处理时，字典结构能保证每个样本的文本和标签一一对应，不会在批量打乱时出现字段错位的问题。

• 示例的核心是展示基础用法，单句场景足够覆盖input_ids、attention_mask这些核心输出，不会因为多字段增加理解难度。
• 多字段场景是单句逻辑的延伸，掌握了单句分词流程后，把单文本换成多字段字典就能适配复杂任务，官方默认用户能自行拓展。

内容的提问来源于stack exchange，提问作者Ifan 767