如何在Zeppelin PySpark解释器中导入S3存储的Python外部库

一共3种可直接落地的方案，按易用性排序：

方案1：修改PySpark解释器全局配置（推荐，一劳永逸） #

你之前猜测的类Glue Python lib path的配置是存在的，只是藏在Spark提交参数里，操作步骤：

• 进入Zeppelin解释器管理页面，找到spark解释器组（PySpark默认绑定这个组）
• 定位到spark.submit.pyFiles配置项，直接填入S3上的自定义库完整路径，格式为s3://<桶名>/<库文件路径>，支持zip/egg/py/whl格式，多文件用逗号分隔
• 如果S3桶非公有权限，在同个解释器配置页补充S3访问参数：
  • 用AK/SK鉴权的话，分别填spark.hadoop.fs.s3a.access.key、spark.hadoop.fs.s3a.secret.key对应的值
  • 如果Zeppelin所在节点已经绑定了有S3读权限的IAM角色，不需要填AK/SK，只需要加配置spark.hadoop.fs.s3a.impl=org.apache.hadoop.fs.s3a.S3AFileSystem
• 保存配置后重启PySpark解释器，所有Notebook都可以直接import 你的自定义库名调用，不需要额外写加载逻辑。

方案2：Notebook内代码临时加载（无全局配置权限时用） #

如果没有修改解释器配置的权限，可以直接在Notebook最开头的PySpark段落写加载逻辑，这段必须放在所有导入自定义库的代码之前运行：

import sys
import subprocess

# 替换成你自己的S3库路径
S3_LIB_PATH = "s3://your-bucket/path/your-custom-lib.zip"
LOCAL_LIB_PATH = "/tmp/your-custom-lib.zip"

# 用内置hadoop命令拉取S3文件到本地，自动复用环境里的S3鉴权配置
subprocess.run(
    ["hadoop", "fs", "-get", "-f", S3_LIB_PATH, LOCAL_LIB_PATH],
    check=True
)

# 把库分发到所有Spark executor节点，同时加到当前Python进程的搜索路径
sc.addPyFile(LOCAL_LIB_PATH)
sys.path.insert(0, LOCAL_LIB_PATH)

运行完这段之后直接import自定义库即可，sc.addPyFile是PySpark原生的依赖分发能力，不管是client还是cluster运行模式都适用，不会出现driver能导入、executor报模块不存在的问题。

方案3：Shell段落前置拉取（简化代码逻辑） #

如果不想写Python拉取逻辑，可以在Notebook最开头加一个shell段落先拉取文件：

%sh
hadoop fs -get -f s3://your-bucket/path/your-custom-lib.zip /tmp/your-custom-lib.zip

之后切回%pyspark段落，执行sc.addPyFile("/tmp/your-custom-lib.zip")和sys.path.insert(0, "/tmp/your-custom-lib.zip")即可，效果和方案2完全一致。

踩坑提示：

• 自定义Python库建议提前打包成单个zip文件或者标准whl包，不要直接传多层源码目录，避免路径识别错误
• %dep解释器仅支持JVM生态的JAR依赖，本身就不支持Python库加载，不用在这个方向浪费时间
• 跑cluster模式任务时，必须调用sc.addPyFile注册依赖，只修改driver端的sys.path不会同步到executor节点，一定会报模块找不到的错误

内容的提问来源于stack exchange，提问作者Ghifari Rahadian