如何结合direct mode distcc与ccache构建LLVM？

核心问题分析 #

单独使用ccache时，ccache直接调用本地编译器；结合distcc时，若采用ccache → distcc → clang++的调用链，ccache默认会将整个调用链（包括distcc）纳入缓存哈希计算，导致之前单独用ccache生成的缓存无法复用。此外，distcc的参数或远程环境差异也会干扰缓存命中逻辑，最终出现缓存看似被访问但实际未命中、远程主机被重复触发的情况。

正确配置步骤 #

1. 修改ccache全局配置 #

编辑~/.config/ccache，添加以下配置项，确保缓存一致性并忽略distcc对哈希的干扰：

# 让ccache检查实际编译器的内容而非仅路径/版本，避免远程与本地编译器路径差异导致缓存失效
compiler_check = content
# 忽略distcc相关参数对缓存哈希的影响
extra_ignored_args = --distcc-*
# 指定实际调用的编译器路径
CXX = /usr/bin/clang++
CC = /usr/bin/clang
# 自定义缓存目录（保持你原有的配置）
cache_dir = /opt/ccache
# 设置缓存目录权限，避免多用户访问问题
umask = 002

2. 调整CMake编译配置 #

将调用链改为distcc → ccache → clang++，让distcc负责任务分发，ccache优先处理缓存命中逻辑。修改后的CMake命令如下：

cmake \
    -DLLVM_INSTALL_UTILS=On \
    -DCMAKE_EXPORT_COMPILE_COMMANDS=1 \
    -DCMAKE_CXX_COMPILER_LAUNCHER="distcc" \
    -DCMAKE_C_COMPILER_LAUNCHER="distcc" \
    -DCMAKE_CXX_COMPILER="ccache" \
    -DCMAKE_C_COMPILER="ccache" \
    -DCCACHE_CPP2=On \
    -DCMAKE_BUILD_TYPE=release \
    -DLLVM_ENABLE_ASSERTIONS=On \
    -DLLVM_ENABLE_PROJECTS="lld;clang;clang-tools-extra" \
    -G Ninja \
    ../llvm

其中-DCCACHE_CPP2=On用于让ccache处理预编译阶段，减少distcc传输的数据量，同时提升缓存一致性。

3. 验证缓存效果 #

• 先清空旧缓存避免干扰：

  ccache -C
  

• 第一次构建：此时缓存未命中，distcc会分发任务到远程主机；
• 清理构建目录后重新构建：此时应100%命中ccache，远程主机不会被触发，速度与单独使用ccache一致。

4. 额外优化建议 #

• 设置CCACHE_MAXSIZE：根据磁盘空间调整缓存上限，例如CCACHE_MAXSIZE=50G；
• 确保远程主机的编译器版本、编译参数与本地完全一致，避免因环境差异导致缓存失效；
• 定期清理ccache过期缓存：ccache -c

内容的提问来源于stack exchange，提问作者Edd Barrett