Logstash技术问询：如何创建URL友好的文档_id？

问题背景 #

我正在使用Logstash的Fingerprint插件创建需要Base64编码的自定义_id字段，当前配置如下：

fingerprint {
  key => "somekey"
  base64encode => true
  method => "SHA512"
  source => [ "username" ]
  target => "[@metadata][custom_id]"
}
truncate {
  fields => "[@metadata][custom_id]"
  length_bytes => 20
}

但生成的示例键是lStqstfpWw5OHe+B3FBi，其中包含+这类URL不安全字符，导致后续通过ID操作时必须额外编解码，流程十分繁琐。

解决方案 #

这里有几个可行的方法，帮你生成原生URL友好的ID：

1. 转换为URL安全的Base64编码

标准Base64里的+、/和末尾的=都是URL不安全的，我们可以用Ruby过滤器把它们替换成URL兼容的字符：

fingerprint {
  key => "somekey"
  base64encode => true
  method => "SHA512"
  source => [ "username" ]
  target => "[@metadata][custom_id]"
}
truncate {
  fields => "[@metadata][custom_id]"
  length_bytes => 20
}
ruby {
  code => '
    # 替换不安全字符并移除填充符=
    url_safe_id = event.get("[@metadata][custom_id]").tr("+/", "-_").delete("=")
    event.set("[@metadata][custom_id]", url_safe_id)
  '
}

这样处理后，示例中的lStqstfpWw5OHe+B3FBi会变成lStqstfpWw5OHe-B3FBi，完全符合URL规范，不需要额外编解码。

2. 直接使用Hex十六进制编码

Hex编码仅包含0-9、a-f这些字符，天生对URL友好。你只需要关闭Fingerprint的base64encode选项即可：

fingerprint {
  key => "somekey"
  base64encode => false # 切换为Hex编码
  method => "SHA512"
  source => [ "username" ]
  target => "[@metadata][custom_id]"
}
truncate {
  fields => "[@metadata][custom_id]"
  length => 40 # 20字节对应40个Hex字符（每个字节占2个Hex位）
}

注意：Hex编码的长度会比Base64长约33%，如果你的ID长度限制宽松，这是最省心的方案。

3. 临时编解码（备选方案）

如果不想修改ID生成逻辑，也可以在需要使用ID的环节用Logstash的urlencode/urldecode过滤器处理，但这会增加额外的步骤，不如前两种方案高效，仅作为临时应急手段。

内容的提问来源于stack exchange，提问作者pkaramol