Azure Purview扫描JSON与Delta Table时无法识别Schema问题求助

一、JSON文件相关修复步骤 #

• 检查扫描规则集：确认存储账户的扫描规则集已勾选JSON格式选项，默认规则集可能未包含该格式，需手动添加或使用包含JSON的自定义规则集。
• 验证JSON文件结构：确保JSON为结构化格式（每行一个独立JSON对象，或标准嵌套结构），格式混乱的零散JSON片段无法被Purview解析。
• 确认权限配置：Purview扫描服务主体需拥有存储账户的Storage Blob Data Reader权限，仅存储账户读者权限无法读取文件内容提取Schema。
• 触发完全扫描：若之前用的是增量扫描，手动触发一次完全扫描，覆盖所有文件内容后再查看结果。

二、Databricks Delta Table相关修复步骤 #

• 确认Delta表结构完整性：检查存储路径下是否存在_delta_log文件夹及事务日志文件，无此结构的普通数据文件夹无法被识别为Delta表。
• 启用Delta Lake扫描规则：在Purview扫描规则集中启用Delta Lake格式支持，默认规则集未包含时需创建自定义规则集添加该格式。
• 关联Databricks工作区（可选）：若Delta表由Databricks创建，在Purview中注册对应Databricks工作区并关联存储账户，可通过Databricks元数据更精准识别Schema。
• 检查日志文件权限：确保扫描服务主体拥有_delta_log文件夹及内部文件的读取权限，事务日志是Purview解析Delta表Schema的核心依据。

三、通用排查动作 #

• 查看扫描日志：在Purview扫描历史中查看详细日志，根据权限拒绝、格式不支持等报错信息直接定位问题。
• 确认存储账户类型：确保使用的是Azure Blob Storage、ADLS Gen2等Purview兼容的存储类型，特殊存储类型可能存在兼容性限制。

内容的提问来源于stack exchange，提问作者mytabi