是否有Catalog Harvestor可从Databricks Unity Catalog向Collibra采集元数据?或需自定义开发?
关于Databricks/Unity Catalog到Collibra的元数据采集方案
- 现成工具支持:Collibra官方提供了Databricks集成连接器,可直接采集Databricks及Unity Catalog中的技术元数据(如表结构、字段定义、分区配置)和部分运营元数据(如数据更新时间、权限信息)。该连接器属于Collibra官方组件,无需从零开发自定义代码,只需配置好Databricks工作区URL、认证令牌、Unity Catalog的目录/schema范围等参数,即可完成元数据同步。
- 自定义开发场景:若官方连接器无法覆盖你所需的特定运营元数据(如自定义业务标签、专属数据流水线的运行日志关联),或需要定制同步逻辑(如特殊增量采集规则),则需要编写自定义代码。可基于Collibra REST API或Databricks元数据API(如Unity Catalog API)开发适配逻辑,实现个性化的元数据采集需求。
内容的提问来源于stack exchange,提问作者Rajib Deb
相关产品推荐
相关产品推荐

