如何为PySpark Executor正确zip打包Python依赖模块

核心问题1：依赖打包路径错误 #

你的猜测是对的，当前的protobuf依赖打包方式不符合Python模块的zip导入规则：

• Python从zip包导入模块时，要求zip内的目录结构和本地导入路径完全对齐。你在site-packages目录下直接压缩所有google前缀文件的方式，会导致zip包内的文件层级混乱，Executor无法按google.protobuf.internal.builder的路径找到对应文件。
• 正确打包操作：进入conda环境的site-packages目录，直接选中google文件夹整体压缩生成zip包，最终zip包解压后第一层必须是google/目录，且能直接找到google/protobuf/internal/builder.py文件才算路径正确。
• 注意：打包时不要混入site-packages下其他google前缀的第三方包（比如google-auth、google-api-core等），仅保留google目录下的protobuf相关内容即可，避免依赖冲突。

核心问题2：Protobuf版本不匹配 #

你当前使用的protobuf 3.3.2版本过旧，google.protobuf.internal.builder模块是Protobuf 3.20.0及以上版本才加入的内部模块：

• 你本地编译contacts_pb2.py使用的protoc编译器版本，必须和打包上传的Python版protobuf版本完全一致，否则就算导入成功，后续解析二进制消息时也会出现字段不匹配、解析失败的问题。
• 建议操作：将本地conda环境的protobuf升级到和本地protoc版本完全一致的稳定版（推荐3.20.x系列，长期支持兼容性好），重新编译生成contacts_pb2.py后，再按正确路径打包依赖。

提交配置验证 #

提交Spark任务时，将自行打包的protobuf依赖zip放在spark.submit.pyFiles配置的最前面，避免Spark内置的旧版protobuf优先级更高覆盖你的依赖，参考配置：

--conf spark.submit.pyFiles=./protobuf_dep.zip,./contacts_pb2.py

可以在解析UDF中加入临时调试代码，启动后查看Executor日志确认依赖加载正确：

def parse_pb(binary_data):
    import google.protobuf
    # 临时调试用，验证通过可删除
    print(f"Load protobuf version: {google.protobuf.__version__}, path: {google.protobuf.__file__}")
    from contacts_pb2 import YourMessage
    # 原有解析逻辑
    msg = YourMessage()
    msg.ParseFromString(binary_data)
    return ...

如果日志打印的protobuf版本是你自己打包的版本、路径包含你上传的zip包名，说明依赖加载正常。

内容的提问来源于stack exchange，提问作者aiman