无法将文本文件转换为TFRecord数据集：词表HashTable初始化报同键重复错误

云上老周

2026-11-3

核心问题定位

首先拆分日志中的两类信息：

所有关于cudart64_110.dll、CUDA/cuDNN库加载失败的内容全部是非致命警告：你的显卡是GeForce 210，计算能力远低于TF新版本的最低要求，TF会自动跳过GPU注册走CPU计算，这些日志完全不会导致程序崩溃，直接忽略即可。
真正触发程序退出的致命错误是：HashTable has different value for same key. Key method has 0 and trying to add value 6

这个错误的触发逻辑非常明确：
lookup_ops.index_table_from_file生成静态哈希表时，规则是词表中每行的token对应一个整数索引，行号就是对应的value值（第一行token对应索引0，第二行对应1，以此类推）。当同一个token在词表文件里出现多次，且不同行的行号不一样时，哈希表就会出现同一个key对应多个不同value的冲突，直接抛出初始化失败的错误——比如你的词表里，method这个词既出现在第1行（对应索引0），又出现在第7行（对应索引6），就会触发这个报错。

具体解决步骤

第一步：扫描现有词表，定位所有重复的token
跑一段极简的扫描脚本，找出tokens.txt里的重复项、空行：

import os
DATA_DIR = 'E:/'
vocab_path = os.path.join(DATA_DIR, 'tokens.txt')

seen_token = set()
duplicate_records = []
with open(vocab_path, 'r', encoding='utf-8') as f:
    for line_number, content in enumerate(f):
        token = content.strip()
        # 跳过空行
        if not token:
            continue
        if token in seen_token:
            duplicate_records.append((line_number, token))
        seen_token.add(token)

print(f"共发现{len(duplicate_records)}个重复token：")
for line_no, token in duplicate_records:
    print(f"行号{line_no}: {token}")

第二步：整理合规词表
打开tokens.txt，删除所有重复的token、空行，保证每个token只出现一次。如果需要保留特殊token（比如PAD、UNK），把它们放在词表最开头，和你的默认返回值逻辑做匹配。

第三步：修正查找表的初始化参数，避免隐含的拆分错误
原代码的查找表初始化默认会按制表符拆分每行内容，如果你是纯单token每行的格式，最好显式指定拆分规则，避免误把带制表符的token拆成两部分，进一步减少隐藏的key冲突风险：

vocab_table = lookup_ops.index_table_from_file(
    vocabulary_file=vocab_file,
    default_value=1, # 建议将UNK的默认id和PAD的id0做区分，避免后续padded_batch补0的时候和UNK混淆
    value_index=lookup_ops.TextFileIndex.LINE_NUMBER,
    delimiter="\n" # 强制按换行拆分，每行就是一个独立的token条目
)

第四步：运行时记得补全初始化逻辑
后续实际跑会话读取数据时，必须先初始化查找表，再初始化数据集迭代器，不然会触发“表未初始化”的二次报错：
```
with tf.compat.v1.Session() as sess:
    # 先初始化所有lookup表
    sess.run(lookup_ops.tables_initializer())
    # 再初始化数据集迭代器
    sess.run(iterator.initializer)
```

注意：当你完成词表去重后，查找表初始化的报错会直接消失。

内容的提问来源于stack exchange，提问作者user14251114