如何减小因重复键导致的超大TFRecord文件体积？

哇，这个坑我太熟悉了！之前处理过类似的大规模特征数据，TFRecord默认的Example格式在这种场景下确实会因为重复存储长特征键导致体积爆炸，10倍膨胀完全符合预期——毕竟130个长键乘以数百万样本，光重复的字符串就能占掉大部分磁盘空间。下面给你几个针对性的优化方案，亲测有效：

1. 用短键映射替换长特征名 #

这是最直接的优化方式，不需要改动TFRecord的核心结构：

• 提前给每个长特征名分配一个极短的别名（比如"user_preferred_product_category_v2"换成"u_pc"，甚至直接用"f01"、"f02"这类数字标识）
• 维护一个映射字典，写入TFRecord时用短键存储，读取时再转换回原长键
• 这种方式能把每个特征键的长度从几十字节压缩到1-3字节，数百万样本下来能省出巨量空间

举个简单的代码示例：

# 预定义长键到短键的映射表
feature_map = {
    "very_long_feature_name_01": "f01",
    "very_long_feature_name_02": "f02",
    # ... 剩下128个特征的映射关系
}

# 序列化样本时替换为短键
def serialize_sample(sample_data):
    feature_dict = {}
    for long_key, val in sample_data.items():
        short_key = feature_map[long_key]
        # 根据值类型构造对应的Feature
        if isinstance(val, int):
            feature_dict[short_key] = tf.train.Feature(int64_list=tf.train.Int64List(value=[val]))
        elif isinstance(val, float):
            feature_dict[short_key] = tf.train.Feature(float_list=tf.train.FloatList(value=[val]))
        elif isinstance(val, str):
            feature_dict[short_key] = tf.train.Feature(bytes_list=tf.train.BytesList(value=[val.encode('utf-8')]))
    example = tf.train.Example(features=tf.train.Features(feature=feature_dict))
    return example.SerializeToString()

# 读取时再转换回长键
reverse_feature_map = {v: k for k, v in feature_map.items()}
def parse_sample(serialized_example):
    feature_desc = {k: tf.io.FixedLenFeature([], tf.int64) for k in reverse_feature_map.keys()}
    # 根据实际值类型调整Feature描述
    parsed = tf.io.parse_single_example(serialized_example, feature_desc)
    # 替换回长键
    return {reverse_feature_map[k]: v for k, v in parsed.items()}

2. 用SequenceExample存储共享元数据 #

如果你的特征集是固定不变的，可以用SequenceExample把特征键的元数据全局存储一次，不用每个样本重复写：

• 在SequenceExample的context字段里存储完整的特征键列表（或者键到ID的映射）
• 每个样本的feature_lists里只存储特征值和对应的ID（整数），完全避免重复存储字符串键
• 这种方式适合特征数量多、样本量极大的场景，空间利用率更高

3. 启用TFRecord压缩（辅助优化） #

配合上面的键优化，开启压缩能进一步缩小体积：

• 写入时指定压缩格式，比如GZIP或ZLIB，压缩率通常能达到3-5倍
• 代码里只需要给TFRecordWriter加个options参数：

options = tf.io.TFRecordOptions(compression_type='GZIP')
with tf.io.TFRecordWriter('optimized_data.tfrecord', options=options) as writer:
    for sample in your_large_json_dataset:
        writer.write(serialize_sample(sample))

4. 自定义Protobuf结构（进阶方案） #

如果上面的方法还不够，你可以自己定义Protobuf结构，专门针对你的数据做优化：

• 把所有特征键的元数据放在一个全局块里，每个样本只存储特征值的数组和索引
• 这种方式完全消除键的重复存储，但需要编写自定义的.proto文件，稍微有点门槛，但灵活性最高

另外补充一句：如果你的JSON数据里有大量缺失特征，默认Example只会存储存在的特征，浪费会少一些，但你这里每个样本都有130个特征，所以重复键的问题才会特别突出。上面的方案组合起来，应该能把TFRecord的体积压缩到比原JSON还小的程度。

内容的提问来源于stack exchange，提问作者deekay42