如何对体量达5-6GB的大型Trie实现高效序列化与反序列化

问题现象与根因分析 #

调用System.Text.Json的序列化方法得到空对象{}，核心原因是该库默认仅序列化公共属性，你当前SuffixTrie定义中的root、endSymbol、Count均为公共字段，不会被默认序列化逻辑识别。
同时JSON本身是文本序列化协议，完全不适合处理5-6GB体量的Trie结构：存在序列化后体积膨胀明显、CPU开销高、全量加载易触发OOM等问题，必须替换为更高效的实现方案。

临时修复JSON序列化问题 #

如果要让JSON序列化正常输出内容，只要在序列化和反序列化时开启字段序列化配置即可：

// 序列化
string jsonString = JsonSerializer.Serialize(giantTrieObj, new JsonSerializerOptions
{
    IncludeFields = true
});
// 反序列化
var trie = JsonSerializer.Deserialize<SuffixTrie>(jsonString, new JsonSerializerOptions
{
    IncludeFields = true
});

注意：该方案仅能解决空对象问题，不适合你当前的大体积Trie场景。

大体积Trie高效序列化方案 #

推荐两种生产环境可用的方案，可根据开发成本和性能要求选择：

方案1：自定义二进制序列化（性能最优、体积最小） #

完全自主实现读写逻辑，无额外冗余数据，序列化后体积接近Trie内存实际占用，读写速度最快：

• 序列化逻辑：
  • 先写入全局元数据：Count值、endSymbol的长度与内容
  • 采用BFS层序遍历所有TrieNode节点，每个节点依次写入：存储的字符值、子节点数量、是否为结束标记
  • 为每个节点分配唯一ID记录父子关联，避免循环引用问题
• 反序列化逻辑：
  • 先读取全局元数据，初始化SuffixTrie基础字段
  • 按节点存储顺序依次读取节点信息，重建父子关联结构
• 额外要求：给SuffixTrie添加公共无参构造函数，方便反序列化时实例化对象。

方案2：高性能第三方二进制序列化库（开发成本低） #

使用MessagePack-CSharp这类成熟的二进制序列化库，不需要手动写序列化逻辑，性能是JSON的5_{10倍，体积仅为JSON的1/3}1/5：

• 第一步：给SuffixTrie和TrieNode类添加序列化特性：

[MessagePackObject]
public class SuffixTrie
{
    [Key(0)]
    public TrieNode root = new TrieNode();
    [Key(1)]
    public string endSymbol = "#";
    [Key(2)]
    public int Count = 0;

    // 新增无参构造函数供反序列化使用
    public SuffixTrie()
    {
    }

    public SuffixTrie(DataTable ruleDt)
    {
        PopulateSuffixTrieFrom(ruleDt);
    }
    /// 其余代码省略
}

// TrieNode也需要加对应的MessagePackObject和Key特性
[MessagePackObject]
public class TrieNode
{
    // 字段按顺序加Key特性即可
}

• 第二步：调用序列化/反序列化方法，支持流式读写避免OOM：

// 序列化到文件
using var fs = File.OpenWrite("trie.bin");
MessagePackSerializer.Serialize(fs, giantTrieObj);

// 从文件反序列化
using var readFs = File.OpenRead("trie.bin");
var trie = MessagePackSerializer.Deserialize<SuffixTrie>(readFs);

注意事项 #

• 所有序列化方案都要求SuffixTrie存在公共无参构造函数，否则无法完成实例化
• 处理5-6GB体量数据时必须使用流式读写，不要将全量文件内容加载到内存中

内容的提问来源于stack exchange，提问作者SamuraiJack