SQL新手求教：如何创建可存超万列CSV的PostgreSQL数据库并关联查询

一、拆分策略 #

• 先确定唯一关联键：如果原CSV没有唯一标识列，先给每行添加自增ID（比如row_id），作为所有表的关联基础。
• 按业务属性/使用频率拆分列：
  • 主表（如core_data）存放高频使用的核心列，同时保留关联键作为主键；
  • 从表（如site_extra1、site_extra2）按站点或主题分组存放低频列，每个从表都以关联键作为外键，关联主表的主键。

二、数据导入步骤 #

1. 拆分原CSV：把原文件按分组拆分成多个小CSV，每个文件对应一张数据库表，确保每个小文件都包含关联键列。
2. 导入数据库：
   • 先创建主表，指定关联键为主键（如row_id INT PRIMARY KEY AUTO_INCREMENT）；
   • 再创建从表，指定关联键为外键并关联主表（如row_id INT FOREIGN KEY REFERENCES core_data(row_id)）；
   • 用数据库原生导入工具批量导入，比如MySQL的LOAD DATA INFILE、PostgreSQL的COPY命令，效率远高于手动插入。

三、关联查询实现 #

1. 直接JOIN查询 #

要获取单条数据的关联字段，用JOIN关联多表即可：

SELECT 
  cd.row_id, cd.column1, cd.column2,
  se1.column3, se1.column4,
  se2.column5, se2.column6
FROM core_data cd
JOIN site_extra1 se1 ON cd.row_id = se1.row_id
JOIN site_extra2 se2 ON cd.row_id = se2.row_id
WHERE cd.row_id = 123;

2. 创建视图作为统一查询接口 #

如果需要频繁查询全量关联数据，创建视图封装多表关联逻辑，后续查询就像操作单表一样：

CREATE VIEW combined_full_data AS
SELECT 
  cd.row_id, cd.column1, cd.column2,
  se1.column3, se1.column4,
  se2.column5, se2.column6
FROM core_data cd
LEFT JOIN site_extra1 se1 ON cd.row_id = se1.row_id
LEFT JOIN site_extra2 se2 ON cd.row_id = se2.row_id;

查询视图：

SELECT * FROM combined_full_data WHERE row_id = 123;

（用LEFT JOIN确保即使从表无对应数据，主表数据也能正常返回）

四、后续维护建议 #

• 新增/更新数据时，同步操作主表和对应从表：可以写存储过程，或者在应用层封装逻辑，保证关联键一致；
• 给所有从表的外键列添加索引，大幅提升JOIN查询的性能；
• 定期校验各表的关联键一致性，避免出现主表有数据但从表缺失的情况。

内容的提问来源于stack exchange，提问作者Kenneth