spring-cloud-dataflow：如何将流日志传输至kibana并配置file beat？

先明确两个关键事实 #

• Spring Cloud Data Flow（以下简称SCDF）没有内置的、可以直接从服务器节点导出所有关联容器日志的原生实现。它自带的UI日志查看能力，本质是按需对接底层部署平台的日志接口临时拉取日志片段，仅作为临时排障的辅助功能，不是常驻的日志聚合通道，无法直接对接Kibana完成全量日志的持续传输。
• 要实现日志到Kibana的全链路传输，核心是靠独立的日志采集组件（比如Filebeat）完成容器日志的抓取、过滤、推送，不需要依赖SCDF本身的能力。

Filebeat的具体配置思路 #

完全不需要给每个单独的SCDF流应用单独部署采集器，根据你的部署场景匹配对应的配置逻辑即可：

通用采集路径配置 #

• 如果SCDF运行在K8s集群上，用DaemonSet模式部署Filebeat，直接覆盖节点默认的容器日志存储路径/var/log/containers/*.log，这个路径默认会采集到节点上所有运行容器的标准输出、错误输出日志，自然就包含SCDF服务器本身、SCDF部署的所有流任务/流应用的容器日志。
• 如果SCDF是单机Docker部署模式，Filebeat直接覆盖Docker默认的容器日志存储路径/var/lib/docker/containers/*/*.log即可，不需要额外修改每个容器的日志输出配置。

日志过滤规则配置 #

为了避免把节点上无关的系统日志、其他业务的日志都推到Elasticsearch（也就是后续对接Kibana的日志存储端），需要在Filebeat的采集规则里加筛选逻辑：

• 通过元数据字段过滤：只保留SCDF所在命名空间下的日志，匹配所有带SCDF部署标签的工作负载日志，给这类日志打上source: scdf的自定义标签，方便后续在Kibana里快速筛选定位。
• 配置排除规则：把节点上和SCDF无关的系统组件、其他业务的命名空间日志加入采集黑名单，减少不必要的Elasticsearch存储开销。

输出端配置 #

把Filebeat的输出端指向你的Elasticsearch集群，配置好对应的索引命名规则，等日志成功写入ES后，就可以在Kibana里创建对应索引模式，完成SCDF全链路日志的查询、可视化分析。

不推荐的替代方案 #

不建议给每个流应用单独加Spring Boot的日志Appender直接推送日志到ES：这种方案需要修改所有流应用的依赖、配置，后续流的版本迭代、动态扩容都要重复调整采集配置，维护成本远高于统一的Filebeat节点级采集方案。

内容的提问来源于stack exchange，提问作者Jibit George