如何在Elasticsearch管道/Painless脚本中实现字段类型转换

你之前写的脚本无法运行核心是两个错误：

• 摄入管道（Ingest Pipeline）的Painless脚本执行在文档写入前的预处理阶段，这个阶段只能通过ctx上下文访问文档字段，doc['field']是搜索、聚合场景下读取已写入索引字段的写法，在摄入阶段使用会直接报上下文不存在的编译/执行错误。
• 脚本没有做字段存在校验、类型校验，遇到缺字段、类型不符合预期的文档时会直接抛错，导致整个文档写入失败。

你可以根据需求选以下两种脚本实现，直接替换管道中script处理器的source内容即可。

方案1：将整数level映射为对应级别字符串（匹配你示例中30转info的需求） #

这个方案会自动兼容已经是字符串类型的level字段，不会影响其他正常上报的日志：

if (ctx.containsKey('level')) {
    if (ctx.level instanceof Integer) {
        switch(ctx.level) {
            case 10:
                ctx.level = 'trace';
                break;
            case 20:
                ctx.level = 'debug';
                break;
            case 30:
                ctx.level = 'info';
                break;
            case 40:
                ctx.level = 'warn';
                break;
            case 50:
                ctx.level = 'error';
                break;
            case 60:
                ctx.level = 'fatal';
                break;
            default:
                ctx.level = ctx.level.toString();
        }
    }
}

你可以根据自己业务的级别对应关系调整switch内的映射规则，未匹配到规则的整数值会直接转为字符串，不会触发类型不匹配报错。

方案2：仅做类型转换，不做级别值映射 #

如果不需要做数值到级别的替换，只是想统一类型适配索引的string映射，可以用更精简的脚本：

if (ctx.containsKey('level') && ctx.level instanceof Integer) {
    ctx.level = ctx.level.toString();
}

• 可以给script处理器添加"ignore_failure": true配置，即使脚本执行出现异常，也不会阻塞文档正常写入，避免日志丢失。
• 也可以选择在Filebeat侧从源头统一字段类型，不需要占用ES侧的处理资源，在Filebeat配置中添加convert处理器即可：

processors:
  - convert:
      field: level
      type: string
      ignore_missing: true
      fail_on_error: false

内容的提问来源于stack exchange，提问作者Philippe