将数据从分区表复制到新分区表失败，求解决方案

第一种方法（CTAS）的修正 #

你的CTAS语句失败的核心原因是：partitioned by指定的分区列会被添加为表的额外列，而select *已经包含了原表的分区列，导致列重复、数据不匹配。

修正步骤：

1. 先查看原表结构，确认普通列和分区列的顺序、类型：

   desc sand_db.table_2;
   

2. 显式指定需要选择的列，确保分区列是select结果的最后几列，并且和partitioned by的列完全对应（顺序、类型一致）：

   create table if not exists box_db.table_1 
   partitioned by (sch_ky int, at_ky int, date string)
   as 
   select id, sch_val, at_val, sch_ky, at_ky, date 
   from sand_db.table_2;
   

   注意：如果原表的分区列是虚拟列（部分SQL引擎中分区列不存储在数据文件内），需调整select语句确保分区列能被正确识别。

第二种方法（先建表再插入）的修正 #

这种方法失败通常是因为未开启动态分区，或者列顺序不匹配。

修正步骤：

1. 开启动态分区参数（针对Hive/Spark SQL）：

   -- Hive环境
   set hive.exec.dynamic.partition=true;
   set hive.exec.dynamic.partition.mode=nonstrict;
   set hive.exec.max.dynamic.partitions.pernode=1000; -- 根据实际分区数调整
   
   -- Spark SQL环境
   set spark.sql.sources.partitionOverwriteMode=dynamic;
   

2. 确保insert语句的列顺序和新表的普通列+分区列顺序完全一致，或显式指定列（更安全）：

   -- 显式指定列，避免顺序问题
   insert into box_db.table_1 (id, sch_val, at_val, sch_ky, at_ky, date)
   select id, sch_val, at_val, sch_ky, at_ky, date 
   from sand_db.table_2;
   
   -- 若列顺序完全匹配，也可使用select *，但显式指定更稳妥
   insert into box_db.table_1 
   select * from sand_db.table_2;
   

3. 验证表结构一致性：确保新表的普通列类型、分区列类型和原表完全一致，避免类型转换错误。

额外排查点 #

• 检查原表的分区列是否存在NULL值，部分SQL引擎对分区列的NULL值处理有限制。
• 确认目标数据库box_db有写入权限，避免因权限不足导致失败。
• 若为大规模数据复制，检查集群资源（内存、CPU）是否充足，避免任务因资源不足被终止。

内容的提问来源于stack exchange，提问作者Kishore18