Windows环境下使用Filebeat采集网络共享目录日志对接Kafka+ELK问题咨询

针对Windows环境下采集网络共享路径日志到对接Kafka的ELK集群的需求，以下三个方案均可落地，无需引入Logstash：

方案1：优化Filebeat配置（无需更换采集组件，改配置即可生效） #

官方不推荐不代表完全不可用，调整以下核心配置可解决90%以上的滚动断采问题：

• 共享路径使用固定挂载的盘符映射，不要直接用UNC路径（比如Z:\log的兼容性远好于\\NAS\app\log）
• 配置file_identity: path，放弃用不稳定的网络卷文件ID识别文件，改用日志的绝对路径作为唯一标识，避免滚动后文件识别失效
• 配置force_close_files: true，释放文件句柄避免网络卷锁冲突
• 调整close_inactive: 5m，长时间无新日志写入就主动关闭文件句柄
• 调整scan_frequency: 10s，加快滚动后新文件的识别速度

方案2：轻量自定义采集脚本（无额外重型组件依赖，兼容性最强） #

如果调优后Filebeat仍有问题，可自己实现轻量采集逻辑，完全避开采集工具的网络卷兼容问题：

• 本地部署单文件轻量Kafka客户端kcat，无需安装即可直接调用
• 编写简单PowerShell脚本，逻辑为：匹配目标目录下的日志文件，将每个文件的读取偏移量存在本地磁盘的状态文件中，每次扫描时仅读取偏移量之后的新增内容，调用kcat直接投递到ELK前端的Kafka对应Topic
• 用Windows任务计划设置脚本定时执行，或者常驻后台监听文件变更，资源占用远低于常规采集工具

方案3：替换为Fluentd采集器（轻量、稳定性优于Filebeat采集网络卷场景） #

如果不想自己维护脚本，可替换采集组件为Fluentd Windows版本：

• 配置in_tail插件采集网络共享路径的日志，Fluentd的文件读取逻辑对Windows网络卷的兼容性明显优于Filebeat
• 配置Kafka输出插件，直接将采集到的日志投递到目标Kafka集群，资源占用仅为Logstash的1/5左右，符合轻量化需求

注意事项 #

• 采集进程仅授予网络共享目录的只读权限，避免误删误改灾备核心元数据
• 统一日志滚动规则，使用固定格式的后缀（比如按时间滚动的.20240520后缀），不要使用随机后缀，降低采集工具的文件匹配难度
• 可在采集端新增简单监控项，定期校验日志投递速度和偏移量更新状态，异常时触发告警

内容的提问来源于stack exchange，提问作者Prabodh Mhalgi