如何将Livy任务的日志级别切换至DEBUG模式？

Airflow的Livy Operator没有直接对应Spark -Dlog4j.debug的独立参数，但可以通过以下两种方式实现相同的日志调试效果：

1. 通过Spark配置传递调试参数 #

利用Livy Operator的spark_conf参数，将-Dlog4j.debug注入到Spark的Driver和Executor的JVM参数中，示例代码如下：

LivyOperator(
    task_id="spark_debug_job",
    livy_conn_id="livy_default",
    file="s3://your-bucket/path/to/job.jar",
    spark_conf={
        "spark.driver.extraJavaOptions": "-Dlog4j.debug",
        "spark.executor.extraJavaOptions": "-Dlog4j.debug"
    }
)

该配置会让Spark的Driver和Executor开启log4j调试模式，和直接在Spark命令行添加-Dlog4j.debug的效果完全一致。

2. 调试Livy服务端自身日志 #

如果需要查看Livy服务端的log4j调试日志，可修改Livy服务的log4j.properties配置文件（通常位于LIVY_HOME/conf目录），调整日志级别：

log4j.rootLogger=DEBUG, console

修改后重启Livy服务，即可获得更详细的Livy服务端日志输出。

你查阅的官方文档中，spark_conf参数是Livy Operator传递Spark自定义配置的核心入口，上述第一种方案正是基于该参数实现的。

内容的提问来源于stack exchange，提问作者Priyanshu Sharma