Azure Function日志经Event Hub传递后无法被Filebeat消费的格式问题

针对你遇到的Azure Function容器日志properties字段为单引号格式字符串、无法被Filebeat的decode_json_fields解析的问题，提供以下几种可行的修正方案：

方案1：从源头调整Azure Function日志输出格式（最优解） #

既然是容器部署的Azure Function，可通过配置日志框架直接输出标准双引号JSON格式的日志，从根源避免格式问题：

• 如果使用默认日志提供者，修改host.json文件配置控制台日志输出为JSON格式：

  {
    "logging": {
      "applicationInsights": {
        "samplingSettings": {
          "isEnabled": true,
          "excludedTypes": "Request"
        }
      },
      "console": {
        "formatter": "json",
        "jsonFormatter": {
          "serializeStackTraces": true
        }
      }
    }
  }
  

• 如果使用Serilog等第三方日志库，配置输出模板为标准JSON，确保嵌套的properties字段以双引号包裹。例如Serilog的C#配置：

  Log.Logger = new LoggerConfiguration()
      .WriteTo.Console(new JsonFormatter())
      .CreateLogger();
  

方案2：在Filebeat中通过脚本处理器修正格式 #

无需修改Azure Function代码或配置，直接在Filebeat的处理器链中加入脚本替换单引号为双引号，再执行JSON解析：
在Filebeat配置文件中添加如下处理器：

processors:
  # 替换properties字段中的单引号为双引号，处理转义场景
  - script:
      lang: javascript
      source: >
        function process(event) {
          const props = event.Get("properties");
          if (typeof props === 'string') {
            // 替换单引号为双引号，同时转义原有的未转义双引号避免格式错误
            const fixedProps = props.replace(/'/g, '"').replace(/(?<!\\)"/g, '\\"');
            event.Put("properties", fixedProps);
          }
        }
  # 解析修正后的properties字段为扁平化JSON
  - decode_json_fields:
      fields: ["properties"]
      target: ""
      overwrite_keys: true

注意：如果日志中存在特殊转义场景，需调整脚本中的正则表达式，确保替换后的字符串符合标准JSON格式。

方案3：通过Azure中间服务预处理日志流 #

若无法修改Azure Function或Filebeat配置，可在Event Hub与Filebeat之间增加一层预处理服务：

1. 创建新的Azure Function（或Logic Apps），以原Event Hub为触发源；
2. 在该Function中编写逻辑，接收日志消息后将properties字段的单引号替换为双引号；
3. 将修正后的消息发送到一个新的Event Hub；
4. 配置Filebeat消费这个新Event Hub的日志流，即可正常解析。

内容的提问来源于stack exchange，提问作者Jack Lin