将Azure Blob Storage中Pickle文件导入Databricks时遇模块缺失错误

问题分析 #

你遇到的ModuleNotFoundError: No module named Types，本质是pickle文件序列化时依赖的Types模块在Databricks环境中不存在或无法被正确引用。CSV文件能正常读取是因为它不依赖特定Python模块，而pickle会保存对象的完整类路径，加载时必须有对应模块支持。

解决方案 #

1. 确认Pickle生成环境的依赖 #

• 检查生成该pickle文件的原始代码，明确Types模块的来源：
  • 如果是你自定义的Types.py模块：将该文件上传到Databricks集群的可访问路径（比如/dbfs/mnt/test2/或集群的site-packages目录），或者通过工作区导入该模块。
  • 如果是第三方库提供的模块：查看原环境的依赖清单（如requirements.txt），定位包含Types的库名称。

2. 修复模块名称大小写问题 #

Python模块名区分大小写，若原环境实际使用的是标准库types（小写），但pickle中被误写为Types（大写），可尝试以下操作：
先在Databricks中验证标准库是否可导入：

import types

若导入成功，通过修改pickle加载时的模块映射来适配：

import pandas as pd
import pickle

def find_class(module, name):
    if module == 'Types':
        module = 'types'
    return getattr(__import__(module), name)

with open('/dbfs/mnt/test2/EEDict.pkl', 'rb') as handle:
    unpickler = pickle.Unpickler(handle)
    unpickler.find_class = find_class
    EEDict = unpickler.load()

3. 转换文件格式绕过依赖 #

如果无法获取Types模块，最稳妥的方式是在原环境将pickle转为无依赖格式（如Parquet、JSON）：

• 原环境执行代码：

import pandas as pd
import pickle

with open('EEDict.pkl', 'rb') as f:
    data = pd.read_pickle(f)
# 转存为Parquet格式
data.to_parquet('EEDict.parquet')

• 将EEDict.parquet上传到Blob容器，在Databricks中读取：

import pandas as pd
EEDict = pd.read_parquet('/dbfs/mnt/test2/EEDict.parquet')

4. 安装缺失的第三方库 #

若Types来自某个第三方库，在Databricks集群中安装对应库：

%pip install 对应库名称

安装完成后重启集群，再尝试加载pickle文件。

内容的提问来源于stack exchange，提问作者AstridMeg