Scala+Spark Standalone集群如何将Executor日志转发到GCP Stackdriver？

类缺失问题修复方案 #

你遇到的Payload类找不到报错，核心原因是手动零散添加单个依赖jar没有覆盖Google Cloud Logging SDK的完整依赖链，Google云服务SDK依赖链路复杂，包括protobuf、guava、google-api-client等数十个依赖包，单独添加部分jar很容易出现依赖缺失、版本不匹配的问题。
修复步骤：

• 使用sbt-assembly插件将logback、google-cloud-logging-logback以及所有关联依赖打成一个fat jar，打包时排除Spark集群已内置的依赖（如spark-core、scala-library、集群自带的guava包等），避免类冲突
• 将打好的fat jar同步放到所有Spark节点的$SPARK_HOME/jars/目录下，无需额外配置extraClassPath即可全局生效，或者提交作业时通过--jars参数指定该jar包路径

日志转发最优方案推荐 #

方案1：应用层logback直连上报（适合需要自定义日志格式的场景） #

该方案就是你当前正在尝试的实现，调整后可以稳定运行，核心配置要点：

• 依赖版本统一使用Google Cloud BOM管理，避免不同SDK组件版本不兼容
• GCE虚拟机直接绑定拥有roles/logging.logWriter权限的服务账号，logback无需配置密钥，自动读取虚拟机实例的默认凭据，减少权限配置错误
• logback配置参考示例：

<configuration>
    <appender name="STACKDRIVER" class="com.google.cloud.logging.logback.LoggingAppender">
        <logName>spark-executor-logs</logName>
        <resourceType>gce_instance</resourceType>
        <flushLevel>INFO</flushLevel>
    </appender>
    <root level="INFO">
        <appender-ref ref="STACKDRIVER" />
    </root>
</configuration>

• 确保log4j-over-slf4j包的类加载优先级高于Spark自带的log4j包，避免日志实现冲突

方案2：节点侧Ops Agent采集（生产环境更稳定的首选方案） #

该方案不需要修改Spark日志实现，运维成本更低，稳定性更高：

• 所有Spark集群的GCE虚拟机安装Google Ops Agent，配置Agent采集Spark executor和driver的本地日志文件路径
• Spark保持原生的log4j日志配置，直接输出日志到本地文件，由Agent负责异步上报到Stackdriver
• 优势：无应用层依赖冲突问题，日志上报不会占用作业计算资源，上报失败时Agent会本地缓存重试避免日志丢失，运维可统一管理全集群的日志过滤、转储规则，无需每个业务作业单独调整日志配置

内容的提问来源于stack exchange，提问作者Kobi Lemberg