如何不修改C# .NET应用代码配置，将控制台输出转发至Elasticsearch

方案可行性判断 #

你的实现思路是完全正确的。无需修改.NET应用代码或配置，通过旁路日志采集组件将控制台标准输出转发到Elasticsearch，是云原生场景下非常通用的无侵入日志采集方案，Fluentd完全可以支撑该需求。

现有配置问题&修正方案 #

你当前配置中使用的forward类型源是用于接收Fluentd客户端、Docker日志驱动等主动推送的日志数据，需要结合你的.NET应用运行场景调整配置：

场景1：.NET应用运行在Docker容器中 #

这种场景下forward源可以直接使用，仅需调整匹配规则和Elasticsearch连接配置即可：

1. 修正后的td-agent.conf配置：

<source>
  @type forward
  port 24224
  bind 0.0.0.0
</source>

<match docker.**>
  @type elasticsearch
  # 此处替换为你的Elasticsearch实际访问地址，同Docker网络下可写ES容器服务名，跨节点写宿主机局域网IP
  host 192.168.31.100
  port 9200
  logstash_format true
  logstash_prefix dotnet-console
  include_tag_key true
  tag_key @log_tag
  flush_interval 1s
</match>

2. 启动.NET容器时指定Fluentd日志驱动，无需修改应用任何配置：

docker run --log-driver=fluentd --log-opt fluentd-address=localhost:24224 --log-opt tag=docker.dotnet-app 你的.NET镜像名

场景2：.NET应用直接运行在宿主机上 #

这种场景下需要先把应用控制台输出重定向到本地文件，再用Fluentd的tail源采集：

1. 启动应用时执行命令重定向输出：

dotnet 你的应用.dll > /var/log/dotnet/app.log 2>&1

2. 修正后的td-agent.conf配置：

<source>
  @type tail
  path /var/log/dotnet/app.log
  pos_file /var/log/td-agent/dotnet-app.log.pos
  tag dotnet.console
  <parse>
    # 纯文本日志用none，结构化JSON日志可替换为json解析器
    @type none
  </parse>
</source>

<match dotnet.**>
  @type elasticsearch
  host 192.168.31.100
  port 9200
  logstash_format true
  logstash_prefix ${tag}
  flush_interval 1s
</match>

补充注意事项 #

• 如果你的Elasticsearch开启了身份认证，需要在elasticsearch配置块中补充user和password参数
• 若需要对采集的日志做字段提取、格式转换，可在Fluentd中添加filter段实现，全程不需要修改应用代码
• 你原本使用的forest插件仅用于多Elasticsearch实例转发场景，单集群场景直接用官方elasticsearch插件即可，无需额外配置

内容的提问来源于stack exchange，提问作者walruz