如何将Apache访问日志中的部分字段存储为加密文本

首先明确：Apache官方原生的mod_log_config模块没有内置日志字段加密写入的相关功能，除了事后扫描日志文件做批量加密的后处理方案外，还有3种更可靠的落地方式，全程可以避免明文日志落盘的风险：

• 管道日志（Piped Log）实时处理方案
  这是Apache原生支持的日志输出机制，不需要额外编译第三方组件，也是生产环境用的最多的方案。你不需要等日志写完再扫文件，mod_log_config会把组装好的每一条日志直接通过管道传给你指定的常驻处理进程，全程不落地明文。
  你只需要写一个轻量处理脚本（Shell、Python都可以，配合openssl命令或者标准加密库就能实现），从标准输入逐行读取日志内容，用正则匹配到client-ip这类需要加密的字段，替换成AES等算法加密后的密文，再把处理完成的日志行追加写入目标日志文件即可。配置方式非常简单，把原来的日志文件路径换成管道命令就行：

  CustomLog "|/opt/scripts/log_encrypt.py" combined
  

  这种方案性能损耗极低，加密逻辑可以自己灵活调整，还能顺便做日志过滤、字段脱敏，兼容性拉满，不会因为Apache版本升级出问题。
• 第三方加密日志模块方案
  如果你不想维护额外的管道处理脚本，可以加载第三方开源的mod_log_crypto模块，这个模块就是专门给Apache做字段级日志加密设计的，加载后可以直接在LogFormat配置里指定哪些字段需要加密、用什么算法加密，不需要额外写处理逻辑，配置示例：

  LogFormat "%h %l %u %t \"%r\" %>s %b %{aes256:%h}" encrypted_log_format
  CustomLog /var/log/apache2/access.log encrypted_log_format
  

  要注意这个模块不属于Apache官方内置的标准模块，需要自己对应Apache版本编译安装，大版本升级的时候要重新编译适配。
• 操作系统层透明加密方案
  如果你不需要细粒度的字段级加密，只是要避免日志明文存储的风险，可以直接把Apache的日志目录挂载到LUKS、eCryptfs这类系统级加密文件系统上，日志写入磁盘的时候操作系统会自动做块级加密，对Apache完全透明，不需要改任何服务配置。但这种方案没法单独加密client-ip这类指定字段，是整个日志文件全量加密，适合粗粒度的加密需求。

补充提示：如果你的需求是合规层面的IP脱敏，不需要留存可解密的真实IP，完全没必要做对称加密，直接在日志格式里用mod_unique_id生成的唯一ID或者对IP做加盐哈希替换真实IP就行，性能更高，也符合个人信息保护的合规要求。

内容的提问来源于stack exchange，提问作者hardeep