Rust宏编译耗时指数级增长且磁盘占用过高求助

问题描述 #

我开发了一个Rust crate，使用quote和proc_macro2::TokenStream通过宏生成代码。当生成的代码量小幅增加时，编译时间呈指数级暴涨，SSD磁盘占用率会长时间维持在100%。例如生成1个"元素"的代码需15秒，生成5个则需15分钟，耗时增加60倍——远超出代码量线性增长的预期（理论最多增加5倍）。编译过程中前期CPU占用极高，后期磁盘占用拉满。该问题在Windows11和Ubuntu22的SSD、内存充足的设备上均可复现。

复现环境与步骤 #

测试分支分为macro1（低代码量，编译耗时合理）和macro2（代码量增加，编译异常缓慢），仅代码量差异，逻辑复杂度一致。复现时需关闭VSCode及rust-analyzer，避免后台构建干扰：

初始化：

git checkout https://github.com/tdelmas/floats
cd floats

测试macro1分支：

git switch macro1
cargo clean
cargo build
cargo test --no-run

该分支最后一步在Windows耗时14秒、Linux耗时15秒，耗时正常。

测试macro2分支：

git switch macro2
cargo clean
cargo build
cargo test --no-run

该分支最后一步在Windows耗时15分钟、Linux耗时8分钟，耗时异常。

宏实现背景 #

问题宏用于生成测试代码，核心逻辑是通过双层循环（各12个类型元素）生成NonNaN、NonNaNFinite等12种类型的所有组合测试，验证运算（+、-、*、/、%）的输出类型是否合理。宏内部通过test_op_self_rhs和test_op_checks函数拼接quote!生成代码，无额外循环逻辑。当前代码通过以下方式合并TokenStream：

output.extend(quote! {
  #add
  #sub
  #mul
  #div
  #rem
});

此前逐个调用output.extend的版本耗时同样很高，修改后无明显改善。

优化建议 #

• 减少宏生成的重复代码：宏生成大量重复测试代码时，rustc的类型检查、MIR生成等阶段会对每一段重复代码做完整分析，无法复用已有结果。可将重复的测试逻辑提取为通用函数，宏仅生成函数调用而非完整测试代码，大幅减少生成代码量。
• 拆分宏为多个小宏：单个宏生成过于庞大的TokenStream会导致rustc内存压力陡增，后续可能触发磁盘交换（即使物理内存充足，rustc的内存管理策略也可能临时写入磁盘）。拆分宏为多个职责单一的小宏，分散编译压力。
• 隔离测试宏：确保宏仅在测试编译时启用，避免干扰主库编译。也可将测试代码的宏生成逻辑移至单独的proc-macro crate，与主库解耦，实现并行编译。
• 启用增量编译：在Cargo.toml中添加：

  [profile.dev]
  incremental = true
  
  [profile.test]
  incremental = true
  

  增量编译会缓存宏展开和编译中间结果，减少重复编译耗时。
• 限制宏生成规模：通过循环次数控制生成的类型组合数量，或使用属性开关选择性生成测试代码，避免一次性生成所有组合。

磁盘占用过高的原因 #

rustc处理宏生成的大量代码时，会触发以下磁盘IO升高的场景：

1. 内存溢出与临时文件写入：宏展开阶段将TokenStream转换为AST时，内存占用随代码量飙升。当内存达到阈值，rustc会将部分中间结果写入target/debug/incremental目录的临时文件，释放内存用于后续处理。
2. 重复编译阶段的临时数据：类型检查、MIR生成等阶段会为每段重复代码生成独立的中间数据，当内存不足以容纳时，会持续写入磁盘，导致磁盘占用拉满。
3. 缓存文件膨胀：即使未启用增量编译，rustc也会写入临时编译缓存文件，大量重复代码会导致缓存文件体积暴涨，进一步加剧磁盘IO。

代码问题排查方向 #

代码量线性增长但耗时指数级上升，大概率是宏生成的代码触发了rustc的性能瓶颈：

• 检查test_op_self_rhs和test_op_checks函数是否存在隐性代码膨胀：比如每次调用都生成大量重复的类型推断逻辑，而非复用已有结构。
• 确认宏生成的代码是否存在大量相似的impl块或测试函数，这类结构会让rustc的类型检查器重复执行相同工作，无法有效复用中间结果。
• 使用cargo expand查看宏生成的代码，确认代码量是否符合预期的5倍左右，排查是否存在嵌套循环导致的组合数远超预期的情况。

内容的提问来源于stack exchange，提问作者Tom