如何在Logstash中为OpenSearch事件全内容加哈希实现防篡改？

方案1：使用Logstash官方fingerprint过滤器（最推荐） #

这是最轻量且无授权风险的实现方式，fingerprint是Logstash官方维护的内置过滤器，采用Apache 2.0开源许可，可免费商用，生成的哈希字段是普通结构化字段，OpenSearch完全支持存储、查询，无需额外适配。
配置逻辑要注意在所有修改原始日志内容的过滤器（比如你现有的grok）之前执行哈希计算，避免用修改后的内容生成哈希，配置示例如下：

filter {
  # 可选：留存原始整行日志，方便后续校验哈希
  mutate {
    add_field => { "raw_log" => "%{message}" }
  }
  # 对原始日志生成加盐哈希
  fingerprint {
    source => "message"
    target => "log_tamper_proof_hash"
    method => "SHA256"
    key => "你自定义的保密加盐字符串" # 盐值不要对外泄露，自行留存
  }
  # 你原来的grok处理逻辑
  grok {
    match => { "message" => "%{TIMESTAMP_ISO8601:mytimestamp} (\[)*%{LOGLEVEL:loglevel}(\])* %{JAVACLASS:javaclass}(.)*(\[/])* %{DATA:component} %{DATA:version} - %{GREEDYDATA:message}"}
    overwrite => [ "message", "version" ]
    break_on_match => false
    keep_empty_captures => true
  }
  // 其余原有处理逻辑
}

方案2：存储层加固进一步提升防篡改能力 #

单纯哈希无法避免攻击者连哈希字段一起篡改，可配合OpenSearch的索引只读能力实现更高等级的防护：

• 对已经写入完成的历史日志索引，设置为只读状态，禁止任何修改、删除操作
• 可配置OpenSearch的索引状态管理（ISM）策略，自动将超过留存窗口期的索引标记为只读，无需人工干预

方案3：自定义Ruby脚本实现灵活哈希逻辑 #

如果需要自定义更复杂的哈希计算逻辑，可使用Logstash内置的ruby过滤器实现，无需额外安装依赖，也没有授权风险：

filter {
  ruby {
    code => "
      # 自定义加盐逻辑
      salt = '你的保密盐值'
      raw_log = event.get('message')
      # 计算SHA256哈希
      hash_val = Digest::SHA256.hexdigest(raw_log + salt)
      event.set('log_tamper_proof_hash', hash_val)
      event.set('raw_log', raw_log)
    "
  }
  # 后续接原有grok等处理逻辑
}

哈希校验方法 #

需要验证日志是否被篡改时，只需取出对应日志的raw_log字段值，加上你留存的盐值重新计算对应算法的哈希，和存储的log_tamper_proof_hash值对比即可：如果二者不一致，说明日志内容已经被篡改。
你提到的OpenSearch字段掩码功能属于权限访问控制范畴，作用是隐藏指定字段的返回内容，确实和防篡改需求无关。 #

内容的提问来源于stack exchange，提问作者versvs