Zeppelin Notebook中UDF使用boto3报ModuleNotFoundError问题求助

问题原因 #

Zeppelin中，普通Python段落的代码运行在Spark Driver节点，而用户自定义函数（UDF）的代码会被分发到所有Spark Executor节点执行。你在Driver节点安装了boto3，但Executor节点上没有这个库，所以UDF执行时就会触发模块找不到的错误。

解决方案 #

方案1：在所有Executor节点安装boto3

如果集群可直接操作，在每个Executor节点执行：

pip install boto3

安装完成后重启Spark集群，确保Executor能加载新库。

方案2：通过Spark的--py-files分发依赖包

无法直接操作Executor节点时，可将boto3包分发到所有节点：

1. 下载boto3的wheel包（不含依赖）：

   pip download boto3 --no-deps -d ./boto3_pkg
   

2. 在Zeppelin的Spark interpreter设置中，添加参数：

   --py-files hdfs:///path/to/boto3-xxx-py3-none-any.whl
   

   （需确保包路径在所有节点可访问，比如存放在HDFS）
3. 重启Spark interpreter，UDF即可在Executor节点找到boto3。

方案3：改用Spark原生S3 API（推荐）

如果仅需上传数据到S3，无需依赖boto3，直接用Spark原生S3支持：

1. 在Zeppelin的Spark interpreter设置中配置S3密钥：

   spark.hadoop.fs.s3a.access.key=你的访问密钥
   spark.hadoop.fs.s3a.secret.key=你的秘密密钥
   

2. 用DataFrame API直接写入S3：

   # df为待上传的DataFrame
   df.write.format("parquet").save("s3a://你的存储桶/目标路径")
   

该方式无需额外安装库，性能更适配大数据场景。

方案4：UDF内动态安装boto3（仅临时测试）

不推荐生产环境使用，仅作应急：

from pyspark.sql.functions import udf
import sys

def upload_to_s3(data):
    # 动态安装boto3
    import subprocess
    subprocess.check_call([sys.executable, "-m", "pip", "install", "boto3"])
    # 导入并使用boto3
    import boto3
    s3 = boto3.client('s3')
    s3.put_object(Bucket='你的存储桶', Key='文件路径', Body=data)
    return "success"

upload_udf = udf(upload_to_s3)

注：每次执行UDF都会重复安装boto3，性能损耗极大。

内容的提问来源于stack exchange，提问作者PriyaDarshini Gangone