如何阻止Dataplex自动重建已删除的默认BigQuery表?
阻止Dataplex重建已删除BigQuery表的解决方法
核心原因
Dataplex Zone创建的默认BigQuery表和Dataplex实体是绑定关系,Dataplex会定期同步实体配置,一旦检测到实体对应的表不存在,就会自动重建表。仅删除表无法解决问题,必须从实体或Zone配置层面调整。
具体操作步骤
- 删除关联的Dataplex实体:找到日志中提到的“对应区域*中的实体”,直接删除该实体。失去实体关联后,Dataplex不会再识别到该表的配置,也就不会触发重建操作。
- 修改实体表配置(需保留实体时):若不想删除实体,进入实体编辑页面,修改其BigQuery表配置——要么指定新的表名,要么取消实体与该表的绑定,比如将实体类型调整为仅记录元数据、无需自动创建表的类型。
- 调整Zone同步规则:查看对应Dataplex Zone的配置,关闭或降低自动同步实体与表的频率,或者修改同步规则,排除已删除的表对应的实体,避免自动重建资源。
验证方式
完成操作后再次删除目标BigQuery表,观察后续日志,若不再出现表创建记录,说明操作生效。
日志信息:
2024-08-15 15:41:19.931 CEST 成功执行删除表操作,对应区域中的实体的表projects//datasets//tables/table1已删除
2024-08-16 00:05:44.785 CEST 成功执行创建表操作,对应区域中的实体的表projects//datasets//tables/table1已创建
内容的提问来源于stack exchange,提问作者Ramkrishna Maheta
相关产品推荐
相关产品推荐

