Spark Submit执行含失败SQL的文件不报错，如何使其返回失败状态？

问题根源 #

spark-submit的退出码仅代表任务是否成功提交，而非SQL语句的执行结果；即使SQL执行出错，只要Spark应用进程未崩溃，YARN就会标记应用状态为SUCCEEDED。因此单纯依赖spark-submit退出码或YARN状态无法捕获SQL执行失败的情况。

可行解决方案 #

方法一：用编程脚本逐行执行并捕获错误

编写简单的Python/Scala脚本读取SQL文件，逐条执行并捕获异常，一旦出错就终止应用并返回非0状态。

示例Python脚本（run_sql_script.py）：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("SQLScriptExecutor").getOrCreate()

# 读取SQL文件并拆分语句
with open("your_sql_file.sql", "r") as f:
    sql_lines = f.read().split(";")
    # 过滤空行和无效语句
    valid_statements = [stmt.strip() for stmt in sql_lines if stmt.strip()]

for stmt in valid_statements:
    try:
        spark.sql(stmt)
        print(f"✅ 成功执行SQL: {stmt[:50]}...")
    except Exception as e:
        print(f"❌ 执行SQL失败: {stmt[:50]}...")
        print(f"错误信息: {str(e)}")
        spark.stop()
        exit(1)

spark.stop()
exit(0)

提交脚本：

spark-submit --master yarn run_sql_script.py

只要有一条SQL执行失败，脚本就会返回退出码1，spark-submit整体也会返回非0状态，YARN应用状态变为FAILED。

方法二：直接使用spark-sql命令执行脚本

spark-sql是专门用于执行SQL脚本的工具，默认会将SQL执行失败的结果传递为命令退出码。

执行命令：

spark-sql --master yarn -f your_sql_file.sql

配合判断逻辑：

spark-sql --master yarn -f your_sql_file.sql
if [ $? -ne 0 ]; then
    echo "SQL脚本执行失败"
    exit 1
else
    # 执行发送邮件等成功操作
    echo "SQL脚本执行完成"
fi

方法三：配置Spark参数强制失败终止

部分Spark版本支持spark.sql.failFast参数，开启后只要SQL执行失败，整个应用会直接终止并返回失败状态：

spark-submit --master yarn \
  --conf spark.sql.failFast=true \
  --class org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver \
  hive-exec-*.jar \
  -f your_sql_file.sql

注意：该参数依赖Spark版本，需确认你的环境是否支持。

内容的提问来源于stack exchange，提问作者Sarah Sinor