如何在Dataproc集群执行节点安装Python模块并导入xmltodict

当你在PySpark DataFrame中使用xmltodict模块时出现no module named xmltodict错误，本质是集群的工作节点未安装该依赖——PySpark任务会分发到工作节点执行，仅主节点安装无法解决问题。以下是几种在Dataproc所有执行节点安装Python模块的方案：

方案1：创建集群时通过初始化脚本批量安装 #

编写一个初始化Shell脚本，在集群创建阶段自动在所有节点安装依赖：

1. 编写脚本install-xmltodict.sh：

#!/bin/bash
# 更新包索引
apt-get update -y
# 安装pip（如果节点未预装）
apt-get install -y python3-pip
# 安装xmltodict
pip3 install xmltodict

2. 将脚本上传到Google Cloud Storage（GCS）的存储桶中
3. 创建集群时指定初始化脚本：

gcloud dataproc clusters create <你的集群名称> \
    --region <集群所在区域> \
    --initialization-actions gs://<你的GCS存储桶路径>/install-xmltodict.sh

方案2：针对已创建的集群，批量安装依赖 #

如果集群已经运行，可通过Dataproc的Shell作业功能，在所有节点执行安装命令：

gcloud dataproc jobs submit shell \
    --cluster <你的集群名称> \
    --region <集群所在区域> \
    --command "pip3 install xmltodict"

该命令会自动在集群的主节点和所有工作节点上执行pip安装操作。

方案3：提交Spark作业时临时加载依赖（适合单次作业） #

如果仅需在特定Spark作业中使用xmltodict，可提前准备好依赖包并随作业上传：

1. 本地下载xmltodict的wheel包（不下载依赖）：

pip3 download xmltodict --no-deps

2. 将下载的wheel包上传到GCS存储桶
3. 提交PySpark作业时指定--py-files参数加载依赖：

gcloud dataproc jobs submit pyspark <你的PySpark脚本路径> \
    --cluster <你的集群名称> \
    --region <集群所在区域> \
    --py-files gs://<你的GCS存储桶路径>/xmltodict-<版本号>-py2.py3-none-any.whl

内容的提问来源于stack exchange，提问作者Ajay Kawade