如何忽略/重定向Dataproc Java API库的System.output调用

我之前也踩过这个坑——用Dataproc API提交作业时，集群的系统输出直接窜到主应用的日志里，搞得排查问题时头都大了！结合我的实战经验，给你几个从源头解决的方案，比用虚拟流靠谱多了：

1. 作业提交时强制定向集群日志到独立存储 #

不管是Spark还是Hadoop作业，都可以通过配置参数把集群产生的stdout/stderr直接定向到Cloud Storage或者集群本地的专属日志文件，完全隔离主应用输出：

• Spark作业配置：
  在提交Spark作业的SparkJob配置里添加--conf参数，把驱动和Executor的日志定向到单独文件或GCS：

  SparkJob sparkJob = new SparkJob()
      .setMainClass("com.your.Main")
      .setArgs(Arrays.asList("--input", "gs://input"))
      .setProperties(ImmutableMap.of(
          "spark.driver.logFile", "gs://your-bucket/dataproc/spark-driver.log",
          "spark.executor.logs.rolling.strategy", "size",
          "spark.executor.logs.rolling.maxSize", "100MB"
      ));
  

  另外还可以开启Log4j重定向，把System.out/err转成日志条目，避免直接输出：

  .setProperties(ImmutableMap.of(
      "spark.driver.extraJavaOptions", "-Dlog4j.redirectStdoutToLogger=true -Dlog4j.redirectStderrToLogger=true",
      "spark.executor.extraJavaOptions", "-Dlog4j.redirectStdoutToLogger=true -Dlog4j.redirectStderrToLogger=true"
  ));
  

• Hadoop作业配置：
  对于MapReduce作业，设置日志存储目录和大小限制，避免输出窜入主应用：

  HadoopJob hadoopJob = new HadoopJob()
      .setMainClass("com.your.MapReduceMain")
      .setArgs(Arrays.asList("gs://input", "gs://output"))
      .setProperties(ImmutableMap.of(
          "mapreduce.task.log.dir", "/var/log/hadoop-tasks",
          "mapred.job.userlog.limit.kb", "10240"
      ));
  

2. 用Dataproc的JobLogConfig彻底分离作业日志 #

这才是最直接的官方解决方案！在创建Dataproc Job时，通过JobLogConfig把作业的标准输出和错误输出直接上传到GCS的指定路径，完全不会流入你的Java应用进程：

Job job = new Job()
    .setPlacement(new JobPlacement().setClusterName("your-cluster"))
    .setSparkJob(sparkJob) // 或者HadoopJob/PigJob等
    .setJobLogConfig(new JobLogConfig()
        .setOutputUri("gs://your-bucket/dataproc-jobs/stdout/")
        .setErrorUri("gs://your-bucket/dataproc-jobs/stderr/"));

// 提交作业
dataproc.projects().regions().jobs().submit("your-project", "us-central1", job).execute();

这样集群运行作业产生的所有System.out/err都会被Dataproc自动上传到指定的GCS路径，你的主应用日志里只会保留API调用本身的日志，干净得很！

3. 应用侧日志上下文隔离（兜底方案） #

如果上面的集群端配置还没完全解决，你可以在Java主应用的日志框架（比如SLF4J/Logback）里给Dataproc客户端的日志单独分文件，避免干扰主业务日志：
比如在Logback的配置文件里添加：

<!-- 专门存储Dataproc客户端日志的Appender -->
<appender name="DATAPROC_CLIENT" class="ch.qos.logback.core.FileAppender">
  <file>logs/dataproc-client.log</file>
  <encoder>
    <pattern>%d{yyyy-MM-dd HH:mm:ss} [%thread] %-5level %logger{36} - %msg%n</pattern>
  </encoder>
</appender>

<!-- 把Dataproc相关包的日志定向到专属文件，不混入主日志 -->
<logger name="com.google.api.services.dataproc" level="INFO" additivity="false">
  <appender-ref ref="DATAPROC_CLIENT"/>
</logger>

4. 规范作业日志输出（长期优化） #

如果是你自己开发的Spark/Hadoop作业，尽量别用System.out.println()打日志，改用框架自带的日志工具：

• Spark作业：用org.apache.spark.SparkContext的log()方法，或者直接注入org.slf4j.Logger
• Hadoop作业：用org.apache.commons.logging.LogFactory获取日志实例
  这样作业的日志会被框架统一管理，不会直接输出到System.out，从根源上避免干扰。

内容的提问来源于stack exchange，提问作者Andreyn