Dev集群部署Flink应用仪表盘无日志 日志级别配置问题咨询

1. Flink 默认日志级别
   Flink 官方发行版默认的全局根日志级别为 INFO，默认配置下仅输出 INFO、WARN、ERROR、FATAL 级别的日志，DEBUG、TRACE 级别的日志默认会被日志框架拦截，不会实际写入输出目标。

2. 日志级别重置位置
   根据生效范围不同，有三种常用调整方式：

   • 集群全局生效：修改 Flink 配置目录下的log4j.properties（使用 Logback 时对应logback.xml），调整rootLogger.level配置项为目标级别，修改完成后重启所有 JobManager、TaskManager 进程即可生效。
   • 单作业独立生效：提交作业时通过启动参数指定自定义日志配置，例如追加参数-Dlog4j.configuration=file:/opt/flink/conf/custom-log4j.properties加载自定义配置，不会影响集群上运行的其他作业。
   • 运行时动态生效：Flink 1.10 及以上版本支持在 Web UI 的作业/节点详情页的 Logging 标签页，在线调整指定 JobManager/TaskManager 的日志级别，调整即时生效，无需重启作业，但节点重启后配置会回退到默认值。

3. System.out 语句可见但日志框架输出不可见的原因
   Kubernetes 默认会采集容器内标准输出（stdout）、标准错误（stderr）流的所有内容，System.out.println()直接写入 stdout 流，因此会被 K8s 日志组件正常采集。
   而 Flink 默认日志配置是将日志框架输出写入进程专属日志文件（例如taskmanager.log、jobmanager.log），不会直接输出到 stdout 流。如果 K8s 部署时没有正确配置 Flink 日志目录的挂载路径，或者 Flink Web UI 的 REST 服务配置的日志读取路径和实际日志写入路径不匹配，就会出现 Web UI 无法读取、展示日志的问题。

4. 代码中log.debug()写法的作用说明
   该写法不是最终的日志级别设置。log.debug("xxx")仅用于标记这条日志语句的所属级别为 DEBUG，不会修改日志框架的输出阈值。
   日志框架的执行逻辑是：仅当当前配置的对应包/类的日志输出阈值 低于或等于 日志语句本身的级别时，这条语句才会被实际执行、输出。你完全可以通过集群配置、作业启动参数、运行时动态调整等方式修改日志输出阈值，不需要改动业务代码。
   日志级别优先级从高到低为：OFF > FATAL > ERROR > WARN > INFO > DEBUG > TRACE > ALL。

5. 写了log.debug()但 Web UI 看不到对应日志的原因
   首先纠正认知偏差：log.debug()不等于将日志级别设置为 DEBUG，只是声明这条日志属于 DEBUG 级别。默认全局日志阈值为 INFO，优先级高于 DEBUG，因此这条日志语句会被日志框架直接跳过，根本不会执行输出逻辑，自然无法在任何位置看到。
   如果你已经调整了日志阈值为 DEBUG 仍然看不到，需要逐一排查以下问题：

   • 日志配置是否被对应节点加载：检查是否只修改了 JobManager 配置没同步到 TaskManager，或者自定义配置文件路径错误导致配置未生效
   • 日志输出路径配置是否正确：确认日志实际写入的路径和 Web UI REST 服务读取的路径一致，K8s 场景下需要确认日志目录是否被正确挂载、进程是否有对应路径的写入权限
   • 是否存在更细粒度的日志级别覆盖：如果配置中单独给你的业务代码所在包设置了 INFO 及以上级别的阈值，即使全局阈值为 DEBUG，对应包下的 DEBUG 日志仍然不会输出

内容的提问来源于stack exchange，提问作者Blaze