使用Microsoft Purview扫描远程Web目录应选择哪种扫描类型？

可行性说明 #

Microsoft Purview没有专门的"Web目录"扫描连接器，但可以通过以下两种方案实现需求：

方案1：通用HTTP连接器（适用于结构化Web目录） #

如果目标Web目录通过HTTP/HTTPS提供可解析的目录结构（比如返回JSON清单或标准HTML目录页），可以直接使用Purview的通用HTTP连接器：

• 配置流程：
  1. 在Purview数据源管理界面新增数据源，选择「通用HTTP」类型
  2. 填入Web目录的根URL（例如https://your-web-dir.example.com/）
  3. 根据Web目录的认证要求，配置对应身份验证方式（匿名、基本认证、OAuth2等）
  4. 创建扫描规则集，自定义解析逻辑以识别目录中的文件和子目录（针对HTML目录页，需配置规则提取链接中的文件路径）
• 限制：仅支持返回结构化目录信息的Web服务，非标准格式的目录页可能需要复杂的规则配置

方案2：Azure Function中转至ADLS（兼容所有Web目录） #

如果Web目录格式不规范或无法直接通过HTTP连接器解析，推荐用Azure Function做中转，将Web目录内容同步到你已熟悉的ADLS存储，再复用ADLS扫描配置：

• 实现步骤：
  1. 编写Azure Function，定时调用Web目录的访问接口或页面，解析目录结构并下载文件到目标ADLS容器
  2. 在Purview中配置该ADLS容器的增量扫描，确保每次同步完成后自动更新元数据
• 优势：兼容所有可访问的Web目录，无需学习新的扫描配置，直接复用已有ADLS扫描的规则和经验

核心注意事项 #

• 若Web目录位于私有网络，需确保Purview的自托管集成运行时能访问目标Web地址
• 带认证的Web目录，需将凭证存储到Purview关联的Azure密钥保管库中，避免明文配置
• 测试扫描规则集，验证元数据（如文件类型、大小）的识别准确性

内容的提问来源于stack exchange，提问作者hlaliberte