Unity Catalog部署后Databricks读取Azure Parquet流报错排查

一、解决Py4JSecurityException（DataStreamReader.format方法未白名单） #

• 确认集群Unity Catalog模式配置：如果用共享集群，需确保集群已启用Unity Catalog访问（集群创建/编辑页的「Advanced options」→「Unity Catalog」中勾选「Enable Unity Catalog」），同时检查集群权限，保证运行Notebook的用户拥有该集群的「Can attach to」权限。
• 配置Unity Catalog核心权限：给操作用户分配目标元数据目录（Catalog/Schema/Table）的CREATE、WRITE权限，以及源Azure存储容器的READ权限。即使禁用表访问控制，Unity Catalog的基础权限仍会生效。
• 验证Runtime版本兼容性：如果原Notebook使用的Databricks Runtime版本低于10.4 LTS，可能与Unity Catalog安全规则不兼容，建议升级到10.4 LTS或更高稳定版本。

二、解决CloudFilesIOException（无法写入Schema日志） #

• 配置存储路径权限：确保集群使用的身份（服务主体/用户）对Schema日志目标路径拥有写入权限。如果用服务主体，在Azure存储容器IAM中分配Storage Blob Data Contributor角色；如果是用户身份，需确保用户通过Azure AD拥有该存储路径的写入权限。
• 显式指定Schema日志路径：在Auto Loader配置中添加cloudFiles.schemaLocation参数，指定有权限的存储路径，示例代码：

  stream_df = spark.readStream.format("cloudFiles") \
    .option("cloudFiles.format", "parquet") \
    .option("cloudFiles.schemaLocation", "/mnt/your-storage-container/schema-log-dir") \
    .load("/mnt/your-storage-container/parquet-source")
  

• 检查Spark配置限制：确认集群Spark配置中未禁用CloudFiles功能，保证spark.databricks.cloudFiles.enabled设置为true，且无其他限制存储写入的自定义配置。

内容的提问来源于stack exchange，提问作者Tarje Bargheer