如何将压缩CSV中yyyymmdd格式日期导入PostgreSQL的date列？

完全可以将yyyymmdd格式的日期导入到PostgreSQL的date类型列中，以下是具体说明和优化方案：

一、默认识别方案 #

PostgreSQL默认支持解析yyyymmdd格式的字符串为date类型，只要CSV中的日期值是标准的8位数字（比如20240520），你的原代码在命令正常执行的情况下可以直接工作：

CREATE TABLE "t_test" (
    "MyDate" date
);

COPY "t_test" ("MyDate")
FROM PROGRAM 'unzip -p C:\tmp\Mydate_testfile.zip'
WITH DELIMITER AS ';' NULL as 'null' CSV header;

注意：如果是Windows环境，需确保unzip命令已添加到系统PATH中；若没有unzip，可以用PowerShell命令替代解压并输出内容：

COPY "t_test" ("MyDate")
FROM PROGRAM 'powershell -command "Get-Content -Path (Expand-Archive -Path ''C:\tmp\Mydate_testfile.zip'' -PassThru).FullName"'
WITH DELIMITER AS ';' NULL as 'null' CSV header;

二、稳妥的显式转换方案 #

如果系统的datestyle配置非默认ISO格式，或者CSV中存在少量非标准日期值，建议用临时表过渡，显式转换日期格式：

1. 创建临时表存储原始文本格式日期：

CREATE TEMP TABLE t_test_temp (MyDate text);

2. 导入压缩文件内容到临时表：

COPY t_test_temp (MyDate)
FROM PROGRAM 'unzip -p C:\tmp\Mydate_testfile.zip'
WITH DELIMITER AS ';' NULL as 'null' CSV header;

3. 转换日期格式并插入正式表：

INSERT INTO t_test (MyDate)
SELECT to_date(MyDate, 'YYYYMMDD')
FROM t_test_temp
WHERE MyDate ~ '^\d{8}$'; -- 过滤非8位数字的无效值

三、关键注意点 #

• 确保解压命令能正确将CSV内容输出到标准输出，unzip -p参数的作用就是直接输出压缩文件内的内容，无需提前解压到本地。
• 提前检查CSV中的日期值，避免存在非yyyymmdd格式的脏数据，否则会导致导入失败或转换错误。

内容的提问来源于stack exchange，提问作者Tibor