Cloud Storage Bucket无法在Dataplex目录搜索中显示的问题排查

核心问题解答 #

1. 所需的额外配置与权限 #

• 必须关联 Dataplex 湖/区：Dataplex 不会自动发现独立的 Cloud Storage Bucket，只有将 Bucket 注册到 Dataplex 的**湖（Lake）或区（Zone）**中，才会被纳入目录搜索范围。这是最关键的前提条件。
• 细化权限设置：除了列出 Bucket 的权限，还需确保 Dataplex 服务账号拥有以下权限：
  • storage.objects.list：用于扫描 Bucket 内的对象内容
  • dataplex.lakes.update 和 dataplex.zones.update：用于将 Bucket 关联到指定的湖或区
  • 若使用自定义服务账号，需为其分配 Dataplex Editor 角色或更细粒度的相关权限

2. 让 Dataplex 识别资源的完整流程 #

1. 创建 Dataplex 湖（未创建时）：在 Google Cloud 控制台的 Dataplex 页面，创建湖并关联目标项目与区域。
2. 在湖中创建区：根据 Bucket 内数据类型选择创建原始区（Raw Zone）或结构化区（Structured Zone），配置时指定要关联的 Cloud Storage Bucket 路径。
3. 触发资源扫描：区创建完成后，Dataplex 会自动启动初始扫描；也可在区的详情页手动触发扫描操作。
4. 验证搜索结果：扫描完成后（耗时取决于 Bucket 大小，通常几分钟），在 Dataplex 目录搜索中输入 Bucket 名称或对象路径即可找到对应资源。

额外注意事项 #

• 确保 Bucket 名称与路径符合 Dataplex 命名规范，避免特殊字符或过长路径。
• 若扫描失败，可在区详情页查看扫描状态日志，排查权限配置或 Bucket 的访问限制（如 VPC 网络规则）。

内容的提问来源于stack exchange，提问作者Oussama Fathallah