MLflow load_model加载模型报Parquet schema推断失败排查

• 报错本质是PySpark加载MLflow保存的Spark PipelineModel时，找不到模型目录下的Parquet格式数据文件，无法自动推断表结构，最终抛出Unable to infer schema for Parquet异常。
• 容器内排查到的现象已经指向直接原因：itemFactors等子目录下仅存在Spark写任务生成的标记文件，实际存储模型参数的Parquet分片文件未被COPY进镜像。
• 漏拷贝的常见诱因按出现概率排序：
  • 本地构建上下文里的模型文件本身不完整：迁移仓库时如果模型文件由Git LFS管理，未执行git lfs pull拉取大文件实体，本地Parquet文件仅为LFS指针占位文件；或从MLflow仓库拉取模型时未加递归参数，深层子目录的Parquet文件未被下载到本地./model路径。
  • 构建排除规则过滤了Parquet文件：即使未手动配置.dockerignore，如果本地.gitignore中配置了忽略.parquet后缀文件、Spark分片文件、大体积文件的规则，部分Docker版本/构建工具会默认复用.gitignore的排除逻辑，导致匹配的文件不被加入构建上下文，无法被COPY指令复制。
  • 路径语义问题：如果本地./model目录是软链接，默认配置下Docker COPY不会跟随软链接复制实体文件，会导致深层目录文件缺失。

按以下顺序排查修复即可：

1. 校验本地构建上下文的模型完整性
   进入本地项目根目录执行以下命令，遍历模型目录检查Parquet文件是否存在：

   find ./model -name "*.parquet"
   

   • 如果命令无输出，说明本地模型文件缺失：从MLflow拉取模型时添加递归参数重新下载；如果是Git LFS管理的文件，执行git lfs install && git lfs pull拉取全量模型实体。
2. 显式配置Docker构建规则避免文件被过滤
   在项目根目录新建.dockerignore文件，明确保留model目录下所有文件，参考配置：

   # 忽略无关缓存与版本控制文件
   __pycache__/
   *.py[cod]
   .git/
   .idea/
   .vscode/
   # 强制保留模型目录所有文件
   !/model/**
   

3. 重新构建镜像并校验
   构建时禁用缓存避免旧缓存干扰：

   docker build --no-cache -t mlflow-spark-api .
   

   镜像构建完成后，可先启动临时容器进入文件系统校验：

   docker run --rm -it --entrypoint bash mlflow-spark-api
   # 容器内执行
   find /code/model -name "*.parquet"
   

   确认能列出所有Parquet分片文件后，再启动正常服务即可。

可选优化：可以在服务启动的模型加载逻辑前增加文件校验步骤，检测到关键Parquet文件缺失时直接抛出明确错误，避免出现模糊的Spark异常增加排查成本。

内容的提问来源于stack exchange，提问作者Saugat Mukherjee