同一工作区迁移Databricks Catalog Schema含表遇CLONE报错求解

错误原因 #

触发的AnalysisException: [STREAMING_TABLE_OPERATION_NOT_ALLOWED.UNSUPPORTED_OPERATION]错误，本质是Databricks的流表（Streaming Tables）不支持CLONE操作，不管是SHALLOW CLONE还是DEEP CLONE都无法直接用于流表。

解决方法 #

根据你的迁移需求，可选择以下方案：

方案1：仅迁移表结构与当前数据（无需保留流能力）

如果不需要新表具备流处理功能，直接用CREATE TABLE AS SELECT（CTAS）复制数据和结构：

CREATE OR REPLACE TABLE 1data_catalog.test.sometable
AS SELECT * FROM 2data_catalog.test.sometable;

执行后新表是普通Delta表，包含原流表的所有当前数据，但没有流作业相关的元数据。

方案2：保留流处理能力（重新部署流作业）

如果需要新表继续接收流数据，按以下步骤操作：

1. 创建与原表结构完全一致的空表：

CREATE TABLE 1data_catalog.test.sometable
LIKE 2data_catalog.test.sometable;

2. 全量同步历史数据（可选，若需要原表已有数据）：

INSERT INTO 1data_catalog.test.sometable
SELECT * FROM 2data_catalog.test.sometable;

3. 修改原流作业的输出目标为新表，重新启动流作业，后续增量数据会写入新表。

方案3：批量迁移整个Schema（区分普通表与流表）

如果要迁移整个Schema下的所有表，先识别出流表再分别处理：

1. 查询Schema内的表类型：

SELECT table_name, is_streaming
FROM system.information_schema.tables
WHERE catalog_name = '2data_catalog' AND schema_name = 'test';

2. 对普通表继续使用CLONE操作，对流表采用上述方案1或方案2处理。

内容的提问来源于stack exchange，提问作者thedataengineer