PySpark中如何捕获导入模块抛出的异常并终止作业执行

异常抛出后程序未终止，本质是你在function()内部抛出的异常没有传递到解释器顶层：外层调用function()的代码存在异常捕获逻辑，且捕获后没有继续抛出异常、也没有做退出处理，异常被直接吞掉，后续代码自然会继续执行。
另外你示例代码里a.check()调用漏传了两个必填位置参数，本身就会触发参数不匹配的TypeError，调试时需要注意。

1. 修正异常抛出写法，避免截断异常栈 #

不要在except块里写raise e，这种写法会截断原始异常栈，加大排查难度，直接使用裸raise即可保留完整异常链：

# b.py 修正后
import a

def function():
    try:
        # 注意传入check要求的两个参数
        res = a.check(1, 2)
    except Exception as e:
        # 裸raise直接抛出原始捕获的异常，不丢失栈信息
        raise

如果需要给异常补充上下文信息，可以使用raise异常链语法：

except Exception as e:
    raise RuntimeError("调用check方法失败") from e

2. 排查外层异常捕获逻辑，禁止裸except吞系统异常 #

如果调用sys.exit(1)仍然无法终止程序，说明外层代码用了无差别的裸except:捕获，这种写法会拦截所有异常，包括sys.exit()抛出的SystemExit系统级异常，直接把退出信号吞掉。

反模式（必须修改）：

if __name__ == "__main__":
    try:
        function()
    except: # 裸捕获会拦截所有异常，包括系统退出信号
        pass
    print("异常被吞，这行代码会照常执行")

正确的捕获逻辑应该只捕获你明确需要处理的异常类型，至少要限定为Exception级别，不要拦截继承自BaseException的系统级异常（SystemExit、KeyboardInterrupt等）：

import sys
if __name__ == "__main__":
    try:
        function()
    except Exception as e: # 不会拦截SystemExit，sys.exit可正常生效
        print(f"作业执行失败: {e}")
        sys.exit(1)
    print("只有无异常时才会执行这行")

3. 强制终止场景使用os._exit() #

如果你的代码嵌套层级很深，无法逐一修改外层的错误捕获逻辑，且确定捕获到目标异常后需要立刻终止整个作业，可以使用os._exit()直接退出进程，该方法不会抛出异常，不会被任何业务层的异常捕获拦截：

import os
import a
import traceback

def function():
    try:
        res = a.check(1, 2)
    except Exception as e:
        # 打印异常栈方便排查问题
        traceback.print_exc()
        # 传入非0状态码标识作业执行失败
        os._exit(1)

注意：os._exit()会直接终止进程，不会执行finally块逻辑、不会刷新文件缓冲区、不会触发注册的退出回调，仅适合确定需要立刻终止的批处理作业场景，常规业务逻辑慎用。

额外优化建议 #

你在a.py中的异常抛出逻辑也可以优化，不要直接抛出通用Exception，建议定义业务自定义异常类型方便外层精准捕获，同时保留原始异常链：

# a.py 优化后
class CheckFailedError(Exception):
    pass

def check(a, b):
    try:
        # 实际检查逻辑
        pass
    except Exception as e:
        raise CheckFailedError(f"检查失败: {e}") from e

内容的提问来源于stack exchange，提问作者Tushar Patil