在Databricks中使用自定义Python库配合sc.parallelize时任务挂起

1. 确认Worker节点已正确安装自定义库 #

首先验证Worker节点是否真的加载了目标库，排除集群库配置未同步的问题：

def list_installed_pkgs():
    import pkg_resources
    return [pkg.key for pkg in pkg_resources.working_set]

# 提交并行任务，收集Worker节点的已安装包列表
result = sc.parallelize([1]).map(lambda x: list_installed_pkgs()).collect()
print("Worker节点已安装包:", result[0])

如果结果中没有你的自定义库，按以下操作修复：

• 确保添加PyPI库后重新启动了集群（Databricks集群库需要重启才能让Worker节点加载新包）
• 检查集群网络：如果是私有/内部PyPI源，确认Worker节点有访问权限，且集群配置了正确的认证信息（比如在环境变量中设置PIP_EXTRA_INDEX_URL、PIP_USER/PIP_PASSWORD）
• 改用初始化脚本强制安装：通过集群的Init Script执行pip install your-custom-lib，确保Worker节点强制同步安装

2. 排查自定义库的代码兼容性问题 #

如果Worker已安装库但仍挂起，大概率是库的代码存在Spark并行环境不兼容的逻辑：

• 移除模块级别的阻塞操作：检查库的__init__.py或主模块，是否在导入时执行了阻塞任务（比如等待本地资源、文件IO、网络请求、全局锁），这些操作会在Worker节点加载模块时导致任务挂起
• 避免依赖Driver本地资源：库中不要读取仅存在于Driver节点的文件、环境变量或本地服务，Worker节点无法访问这些资源，会引发无限等待
• 测试极简版本库：打包一个仅含简单函数的测试库（比如仅实现加法逻辑），在并行任务中调用，如果正常运行，说明原库的业务代码存在阻塞逻辑，需要逐步排查定位

3. 调整导入方式避免初始化冲突 #

尝试在任务函数内部延迟导入自定义库，跳过Worker节点初始化阶段的模块加载：

def run_custom_task(x):
    # 仅在任务执行时导入库，规避模块级初始化的潜在问题
    import your_custom_lib
    return your_custom_lib.your_function(x)

# 执行并行任务
output = sc.parallelize([1, 2, 3]).map(run_custom_task).collect()
print(output)

4. 查看Worker节点的详细日志 #

Spark Driver日志可能不会记录Worker节点的导入错误，需要查看Worker节点的stdout/stderr日志：

• 在Databricks集群页面切换到「Worker」标签
• 点击任意Worker节点的「查看日志」，搜索你的自定义库名称，大概率能找到导入时的具体报错（比如依赖缺失、权限问题）

内容的提问来源于stack exchange，提问作者jwsmithers