NLog File target适配Splunk Forwarder的高性能无锁日志配置问询

核心逻辑为长周期分片+文件锁共享配置+双端IO策略优化，完全解决小文件过多、锁冲突问题，同时实现高性能写入：

1. NLog侧核心配置 #

放弃毫秒/秒级分片逻辑，改用「时间粒度分片+大小触发归档」的组合策略，同时配置文件共享锁权限：

<!-- 先开启异步包装提升写入性能 -->
<target name="asyncJsonFile" xsi:type="AsyncWrapper" queueLimit="5000" overflowAction="Discard">
  <target name="jsonfile" xsi:type="File"
    fileName="${gdc:logDirectory}/${gdc:environment}/${date:format=yyyy-MM-dd_HH}.json"
    archiveFileName="${gdc:logDirectory}/${gdc:environment}/archive/${date:format=yyyy-MM-dd_HH}_{#####}.json"
    archiveAboveSize="104857600" <!-- 单文件满100M自动归档 -->
    archiveNumbering="Sequence"
    maxArchiveFiles="168" <!-- 最多保留7天归档，可按需调整 -->
    keepFileOpen="true" <!-- 保持文件句柄打开，减少频繁开闭开销 -->
    lockingModel="FileShare.Read" <!-- 允许其他进程只读访问当前写入的文件，彻底避免和Splunk的锁冲突 -->
    concurrentWrites="false" <!-- 单进程写入无需开并发写入，进一步提升性能 -->
    openFileCacheTimeout="3600"> <!-- 文件句柄缓存1小时，匹配小时分片粒度 -->
    <layout xsi:type="JsonLayout">
      <attribute name="time" layout="${date:format=O}" />
      <attribute name="message" layout="${message}" />
      <attribute name="logger" layout="${logger}"/>
      <attribute name="level" layout="${level}"/>
    </layout>
  </target>
</target>

该配置的优势：

• 小时级分片默认单进程单小时最多生成1个日志文件，配合100M大小归档，文件数量可控，不会出现海量小文件拖垮IO的问题
• lockingModel="FileShare.Read"配置下，NLog持有写入权限的同时，允许Splunk Forwarder以只读模式读取文件内容，不会产生锁竞争
• 异步包装+长持有文件句柄的配置，写入性能比短周期分片方案高30%以上

2. Splunk Forwarder侧配合优化 #

在Forwarder的inputs.conf对应监控目录配置项中添加以下参数，进一步降低冲突概率：

[monitor://<你的日志目录路径>]
disabled = false
index = <你的索引名>
sourcetype = _json
openFileDelay = 1000 # 新文件生成后延迟1秒再读取，避免和NLog的文件创建操作冲突
time_before_close = 300 # 文件5分钟无新写入再标记为已完成，避免频繁开关文件句柄
ignoreOlderThan = 7d # 只扫描7天内的文件，减少无效扫描开销

3. 额外注意事项 #

• 不要使用单条日志生成一个文件的配置，会导致Splunk Forwarder的文件扫描开销提升数十倍，同时大幅提升锁冲突概率
• 若业务日志量极小，可将分片粒度调整为天级，进一步减少文件数量
• 若有多进程同时写入同目录日志的场景，可将concurrentWrites调整为true，同时保留FileShare.Read锁配置即可

内容的提问来源于stack exchange，提问作者gunnarst