如何解析TFE日志（tfe_log）统计Terraform模块使用情况？

我们已将Terraform Enterprise（TFE）的tfe_log日志导出至Splunk，计划搭建可视化仪表盘展示模块的使用情况、频次及下载人，但缺少日志格式相关文档。当前使用的Splunk查询语句统计结果与TFE模块页面的数据存在偏差：

index=automation sourcetype=tfe_log tfe-atlas oac modules registry datadog download GET earliest=-2mon 
| rex "registry\/(?<module>[a-z0-9-]+)-oac\/datadog\/[0-9.]+\/download" 
| stats count by module

排查与修正建议 #

• 放宽正则匹配范围：当前正则仅允许模块名包含小写字母、数字和连字符，但TFE模块名可能支持大写字母或下划线。调整正则表达式覆盖更多合法字符：

  rex "registry\/(?<module>[a-zA-Z0-9_-]+)-oac\/datadog\/[0-9.]+\/download"
  

• 补充请求方法覆盖：TFE可能将HEAD请求也统计为有效下载行为，当前查询仅过滤GET请求会导致数据遗漏。修改过滤条件：

  index=automation sourcetype=tfe_log tfe-atlas oac modules registry datadog download (GET|HEAD) earliest=-2mon
  

• 移除硬编码的命名空间限制：查询中硬编码了datadog命名空间，若存在其他命名空间的模块会被排除在外，调整为通用匹配：

  rex "registry\/(?<module>[a-zA-Z0-9_-]+)-oac\/(?<namespace>[a-z0-9-]+)\/[0-9.]+\/download"
  

• 对齐时间统计范围：TFE页面的统计可能基于自然月，而earliest=-2mon是从当前时间往前推2个月，存在时间差。调整时间参数匹配整月统计：

  earliest=-2mon@mon latest=@mon
  

• 去重重复请求：Splunk日志可能包含重复的下载请求（如重试、CDN日志），而TFE仅统计唯一下载行为。可通过客户端IP或请求ID去重：

  | dedup client_ip module
  

• 验证日志完整性：检查Splunk的日志采集配置，确认是否所有TFE模块下载日志都被完整导入，对比TFE页面总下载数与Splunk原始日志总数。

内容的提问来源于stack exchange，提问作者Devon