如何在Serilog Elasticsearch Sink中启用日志缓冲功能

以下是针对缓冲参数启用后日志无法发送至Elasticsearch的排查与解决步骤：

1. 检查缓冲目录权限 #

• 确认C:/Temp/docker-elk-serilog-web-buffer对应的父目录C:/Temp存在，且运行Web API的进程（本地调试时的当前用户、IIS应用池账户等）拥有读写该目录的权限。权限不足会导致缓冲文件无法创建或写入，进而中断日志发送流程。

2. 核对缓冲参数的正确性 #

• 确保所有缓冲相关参数名称拼写正确（JSON配置大小写敏感），比如bufferBaseFilename、bufferFileSizeLimitBytes等参数名要与Serilog.Sinks.Elasticsearch官方定义完全一致。
• 检查参数值的合理性：bufferFileSizeLimitBytes设为5MB、bufferFileCountLimit设为31均在合理范围内，但需确认系统磁盘空间充足，不会因磁盘满导致缓冲失败。

3. 排查格式化器兼容性问题 #

• 暂时移除customFormatter配置，改用Serilog默认的JsonFormatter测试缓冲功能是否正常。如果移除后缓冲恢复正常，说明Elastic.CommonSchema.Serilog.EcsTextFormatter可能存在序列化问题：
  • 升级Elastic.CommonSchema.Serilog包至最新版本；
  • 检查ECS格式化器是否存在与缓冲机制冲突的配置项。

4. 调整缓冲发送参数 #

• 将bufferLogShippingInterval从5000ms（5秒）调整为10000ms（10秒），避免过于频繁的批量请求触发Elasticsearch限流或网络拥堵。
• 确认Elasticsearch索引模板已正确注册：autoRegisterTemplate和overwriteTemplate设为true，确保缓冲日志的格式与索引模板匹配，不会被ES拒绝。

5. 启用Serilog自我日志排查错误 #

• 在Program.cs中添加自我日志配置，捕获缓冲过程中的具体错误信息：

// 输出到控制台（本地调试用）
Serilog.Debugging.SelfLog.Enable(msg => Console.WriteLine(msg));
// 或写入文件（生产环境用）
Serilog.Debugging.SelfLog.Enable(File.CreateText(@"C:/Temp/serilog-selflog.txt"));

自我日志会输出缓冲文件创建、写入、发送时的异常，比如权限不足、ES连接失败、Payload格式错误等关键信息。

6. 验证Elasticsearch API密钥权限 #

• 确认配置的API密钥拥有以下权限：
  • 写入目标索引的create或index权限；
  • 索引模板的manage权限（因配置了autoRegisterTemplate: true）。
    权限不足会导致批量发送请求被ES拒绝，缓冲文件无法清空。

调整后的参考配置 #

"Serilog": {
  "Using": [ "Serilog.Sinks.Elasticsearch" ],
  "MinimumLevel": {
    "Default": "Debug",
    "Override": {
      "Microsoft.Hosting": "Information",
      "Microsoft.AspNetCore": "Warning",
      "EasyNetQ": "Warning",
      "Elastic.Apm": "Information"
    }
  },
  "WriteTo": [
    {
      "Name": "Elasticsearch",
      "Args": {
        "nodeUris": "https://xxxxxxxxxxxxxx.es.eu-west-1.aws.found.io",
        "indexFormat": "test.standard-{0:yyyy.MM}",
        "autoRegisterTemplate": true,
        "batchAction": "Create",
        "overwriteTemplate": true,
        "templateName": "test",
        "typeName": null,
        "bufferBaseFilename": "C:/Temp/docker-elk-serilog-web-buffer",
        "bufferFileSizeLimitBytes": 5242880,
        "bufferLogShippingInterval": 10000,
        "bufferRetainedInvalidPayloadsLimitBytes": 5000,
        "bufferFileCountLimit": 31,
        "connectionGlobalHeaders": "Authorization=ApiKey xxxxxxxxxxxxxxxxxx",
        "customFormatter": "Elastic.CommonSchema.Serilog.EcsTextFormatter, Elastic.CommonSchema.Serilog",
        "async": true
      }
    }
  ],
  "Enrich": [
    "FromLogContext",
    "WithMachineName",
    "WithEnvironmentUserName",
    "WithElasticApmCorrelationInfo",
    "WithExceptionDetails"
  ]
}

内容的提问来源于stack exchange，提问作者Master