如何向组织外部共享Google Dataplex/Data Catalog元数据

我们通过Analytics Hub向组织外第三方共享BigQuery（BQ）数据集，订阅方可在自身项目创建链接数据集，查询费用由订阅方承担。现在计划用Dataplex丰富这些共享数据集的元数据，以下是对两种方案的分析及相关疑问解答：

方案1：Dataplex/数据目录元数据推送至BQ后通过Analytics Hub共享 #

这是最简洁的方案，但需明确以下两点：

1. 能否将Dataplex/数据目录元数据推送到BQ？
   目前Dataplex和Data Catalog的元数据无法直接"推送"到BQ数据集本身。BQ自身的元数据（如描述、标签）是独立存储的，而Dataplex实体、Data Catalog条目是构建在BQ之上的上层元数据层，两者属于不同的元数据存储体系。不过可以通过以下方式实现元数据同步效果：
   • 使用Data Catalog的标签模板，将标签应用到BQ表/数据集后，这些标签会同步显示在BQ控制台中（属于BQ支持的标签体系）。
   • 对于Dataplex中定义的实体描述、业务术语等元数据，可编写脚本（利用Google Cloud API）将这些信息同步到BQ数据集/表的描述字段中。
2. Dataplex实体和Data Catalog条目是否可推送至BQ？
   • Dataplex实体是Dataplex湖/区中对数据资产的抽象，无法直接推送或同步到BQ，仅存在于Dataplex的元数据体系内。
   • Data Catalog条目对应的BQ资产（表/数据集），其标签、描述等部分元数据可以同步到BQ（如上述标签同步），但Data Catalog特有的元数据（如自定义属性、完整血缘关系视图）无法直接迁移到BQ。

方案2：直接授权第三方访问Dataplex元数据 #

这种方案存在权限控制和元数据覆盖范围的问题：

• 外部用户的细粒度权限控制：目前Google Cloud不支持直接给组织外用户授予Dataplex中特定数据集的元数据查看权限。若按湖/区级别授权，第三方会获得该湖/区内所有资产的元数据访问权，权限粒度太粗，不符合最小权限原则。
• 元数据共享限制：通过这种方式只能共享Dataplex层面的元数据，无法同步共享Data Catalog的完整元数据（如自定义条目、跨资产血缘），且让第三方直接访问内部项目资源会增加安全管理复杂度，并非首选方案。

最佳实践建议 #

1. 优先采用方案1的优化版：通过脚本或Cloud Functions自动同步Data Catalog的标签、描述到BQ数据集/表，再通过Analytics Hub共享。订阅方访问链接数据集时，能看到同步后的元数据（BQ原生的描述、标签），满足基本元数据需求。
2. 补充元数据文档：对于Dataplex中更复杂的元数据（如数据血缘、业务分类），整理成结构化文档（如Confluence页面），在共享数据集时提供给订阅方，作为BQ原生元数据的补充。
3. 避免直接授权外部用户访问内部元数据系统：尽量通过Analytics Hub的共享机制传递元数据，减少外部用户对内部项目资源的直接访问，降低安全风险。

内容的提问来源于stack exchange，提问作者racerX