SSIS 2014列镜像：如何拆分源表为两个含前三列的数据集

嘿，这个需求其实挺直观的——核心就是基于原表生成两个列结构不同的子集，同时完整保留原表的所有行对吧？下面给你几个主流技术栈的实现方案，按需选用就行：

不管是MySQL、PostgreSQL还是其他关系型数据库，直接通过SELECT指定需要的列即可，因为没有添加过滤条件，原表的每一行都会完整出现在结果里。

如果需要将结果保存为新表：

-- 生成第一部分（包含Col1、Col2、Col3、Col4）
CREATE TABLE table_part1 AS
SELECT Col1, Col2, Col3, Col4
FROM original_table;

-- 生成第二部分（包含Col1、Col2、Col3、Col5）
CREATE TABLE table_part2 AS
SELECT Col1, Col2, Col3, Col5
FROM original_table;

如果只是临时查询查看结果，直接执行SELECT语句即可，无需创建新表。

用Pandas处理的话，直接通过列索引选择需要的列就可以生成两个DataFrame，原表的所有行都会被保留：

import pandas as pd

# 读取源表（根据实际存储格式调整，比如read_sql读取数据库表）
df = pd.read_csv("your_source_file.csv")

# 拆分出第一部分
df_part1 = df[["Col1", "Col2", "Col3", "Col4"]]

# 拆分出第二部分
df_part2 = df[["Col1", "Col2", "Col3", "Col5"]]

# 可选：将结果保存到文件
df_part1.to_csv("table_part1.csv", index=False)
df_part2.to_csv("table_part2.csv", index=False)

针对大数据量的情况，用Spark来处理同样很简单，通过select方法指定列即可：

from pyspark.sql import SparkSession

# 初始化Spark会话
spark = SparkSession.builder.appName("split_table_task").getOrCreate()

# 读取源表（支持多种数据源，比如Hive表、CSV、Parquet等）
df = spark.read.csv("your_source_data.csv", header=True, inferSchema=True)

# 生成第一部分数据集
df_part1 = df.select("Col1", "Col2", "Col3", "Col4")

# 生成第二部分数据集
df_part2 = df.select("Col1", "Col2", "Col3", "Col5")

# 可选：保存结果（根据需求调整存储格式和路径）
df_part1.write.csv("output/table_part1", header=True)
df_part2.write.csv("output/table_part2", header=True)

核心逻辑说明 #

所有方案的本质都是选择指定列，因为没有添加任何行过滤条件，原表的每一行都会完整复制到两个结果集中，只是各自保留了你需要的列，完全符合你“源表所有行同时存在于两部分中，仅拆分前三列外的不同列”的要求。

内容的提问来源于stack exchange，提问作者Beginner