Databricks笔记本命令失败时捕获错误详情的方法

方法1：直接用try-except包裹单个任务命令 #

对每个对应任务的命令，单独用try-except块包裹，在异常处理中输出自定义任务标识和具体错误信息，精准定位失败任务：

# 任务1：读取数据源
try:
    df = spark.read.csv("/path/to/data.csv", header=True)
    print("任务1执行成功：完成数据源读取")
except Exception as e:
    # 自定义提示+具体错误详情
    print(f"任务执行失败：任务1（读取数据源）")
    print(f"具体错误信息：{str(e)}")
    # 若需要更详细的栈追踪，可引入traceback模块
    import traceback
    traceback.print_exc()
    # 主动终止后续执行（可选）
    raise

# 任务2：数据清洗
try:
    cleaned_df = df.dropna(subset=["user_id"])
    print("任务2执行成功：完成数据清洗")
except Exception as e:
    print(f"任务执行失败：任务2（数据清洗）")
    print(f"具体错误信息：{str(e)}")
    import traceback
    traceback.print_exc()
    raise

如果是SQL命令，可将其封装到Python的spark.sql()调用中，同样用try-except捕获：

# 任务3：SQL统计分析
try:
    result_df = spark.sql("SELECT user_id, COUNT(*) AS order_count FROM orders GROUP BY user_id")
    print("任务3执行成功：完成SQL统计分析")
except Exception as e:
    print(f"任务执行失败：任务3（SQL统计分析）")
    print(f"具体错误信息：{str(e)}")
    raise

方法2：封装通用错误捕获装饰器（减少重复代码） #

如果笔记本中有大量任务，可以封装一个装饰器，统一处理错误捕获和提示，避免重复编写try-except：

import traceback
from functools import wraps

def task_error_handler(task_name):
    def decorator(func):
        @wraps(func)
        def wrapper(*args, **kwargs):
            try:
                result = func(*args, **kwargs)
                print(f"任务执行成功：{task_name}")
                return result
            except Exception as e:
                print(f"任务执行失败：{task_name}")
                print(f"具体错误信息：{str(e)}")
                traceback.print_exc()
                raise
        return wrapper
    return decorator

# 使用装饰器修饰任务函数
@task_error_handler("任务1：读取数据源")
def load_data():
    return spark.read.csv("/path/to/data.csv", header=True)

@task_error_handler("任务2：数据清洗")
def clean_data(df):
    return df.dropna(subset=["user_id"])

# 执行任务
df = load_data()
cleaned_df = clean_data(df)

关键说明 #

• 自定义任务标识要尽量清晰，比如包含任务编号+任务描述，方便快速定位；
• 使用traceback.print_exc()可以打印完整的错误栈，帮助排查深层问题；
• 最后加上raise可以让笔记本终止在失败的任务处，避免后续无关任务继续执行；
• 若使用Databricks的多语言笔记本（比如混合Python、SQL、Scala），非Python命令可通过对应的语言异常处理语法实现（Scala用try-catch，SQL可通过Python封装执行）。

内容的提问来源于stack exchange，提问作者Ranjini Seetharaman