Oracle中快速跨表迁移同结构表分区数据的方法

你当前用的Insert into t1 select * from t2 partition p;属于数据级拷贝方案，需要启动计算任务完成数据读取、反序列化、写入、落盘全流程，1000万条数据耗时30分钟是正常表现。由于两张表结构、分区配置完全一致，属于克隆表，可以用以下两种远快于当前方案的实现方式，优先选第一种：

方案1：分区元数据交换（秒级完成，推荐） #

这个方案完全跳过实际数据拷贝，仅修改表的分区元数据指向，把t2对应p分区的存储挂载到t1的同名分区下，全程不移动、不重写数据文件，常规集群下耗时在秒级，是效率最高的实现。
不同引擎引擎的操作语法如下：

• Hive/Spark SQL 场景：

-- 如果t1已经存在p分区，先删除分区元数据，不要加purge参数避免误删底层数据
ALTER TABLE t1 DROP IF EXISTS PARTITION (p='<替换为你的实际分区值>');
-- 执行分区交换，将t2的p分区转移到t1下
ALTER TABLE t2 EXCHANGE PARTITION (p='<替换为你的实际分区值>') WITH TABLE t1;

• ClickHouse 场景：

-- 直接将t2的p分区替换到t1下
ALTER TABLE t1 REPLACE PARTITION '<替换为你的实际分区值>' FROM t2;

注意：分区交换属于移动操作，执行完成后t2的p分区元数据会转移到t1下。如果需要保留t2的p分区，交换完成后给t2重新执行ADD PARTITION语句，指向原分区存储路径即可，不需要重复拷贝数据。

方案2：文件系统级拷贝+元数据修复（耗时为原方案的1/5~1/10，适合需要保留双份分区数据的场景） #

如果你的计算引擎不支持分区交换语法，或者需要t1、t2同时保留p分区的独立数据副本，可以直接在存储层拷贝分区文件，跳过SQL计算层的序列化、反序列化开销，1000万条数据通常3~5分钟即可完成。
操作步骤：

1. 先查询分区存储路径

-- 查询t2的p分区实际存储位置，拿到结果中的Location值
DESC FORMATTED t2 PARTITION (p='<替换为你的实际分区值>');
-- 查询t1的根存储路径
DESC FORMATTED t1;

2. 执行存储层文件拷贝

# HDFS存储场景，小数据量直接用hdfs dfs -cp
hdfs dfs -cp <t2的p分区路径> <t1的表根路径>
# 数据量更大时用distcp做分布式拷贝，速度更快
hadoop distcp <t2的p分区路径> <t1的表根路径>

3. 挂载t1的p分区元数据

-- 直接添加分区指向拷贝后的路径
ALTER TABLE t1 ADD IF NOT EXISTS PARTITION (p='<替换为你的实际分区值>') LOCATION '<t1表根路径>/p=<替换为你的实际分区值>';
-- 如果分区路径符合默认表路径规则，也可以直接执行元数据修复自动识别分区
MSCK REPAIR TABLE t1;

注意事项 #

• 两种方案都要求两张表的存储格式、压缩方式、字段定义完全一致，你提到两张表是互为克隆的关系，完全满足前置要求
• 操作前确认t1的p分区没有需要留存的旧数据，避免元数据操作导致旧数据不可访问
• 原insert方案除了耗时久，还容易在t1分区下产生大量小文件，后续查询会额外增加性能开销，不建议继续使用

内容的提问来源于stack exchange，提问作者sparsh610