Vertica 12.0.4：导入S3中CSV.gz文件并自动建表及0行加载排障

一、S3 CSV.gz 文件导入 Vertica 临时表的步骤 #

• 1. 配置会话级 AWS 认证与区域
     先执行会话配置，确保 Vertica 能访问目标 S3 资源：

  ALTER SESSION SET AWSRegion = 'your-region';
  ALTER SESSION SET AWSAuth = 'access-key-id:secret-access-key';
  

• 2. 创建临时表
     Vertica 12.0.4 不支持 COPY 自动建表，需手动创建与 CSV 文件结构匹配的临时表：

  CREATE TEMPORARY TABLE temp_data (
      col1 VARCHAR(100),
      col2 INT,
      col3 DATE
      -- 按 CSV 文件列顺序和数据类型定义所有字段
  );
  

• 3. 执行 COPY 命令导入数据
     明确指定 GZIP 压缩格式及 CSV 相关参数（根据实际文件调整）：

  COPY temp_data 
  FROM 's3://bucket/path.csv.gz'
  GZIP
  DELIMITER ','
  HEADER
  ENCLOSED BY '"'
  REJECTED DATA AS TABLE temp_data_rejects; -- 可选，存储导入失败的行及原因
  

二、COPY 命令加载行数为 0 的排查方向 #

以下是常见的导致导入行数为 0 的原因：

• S3 路径或文件异常：确认 s3://bucket/path.csv.gz 路径完全正确，包括 bucket 名称、文件路径、文件名拼写；同时检查 S3 上的文件是否为空或存在（可通过 AWS CLI 执行 aws s3 ls s3://bucket/path.csv.gz 验证）。
• AWS 权限不足：检查 AWSAuth 中使用的 IAM 密钥是否具备目标 S3 对象的 s3:GetObject 权限，且 bucket 所在区域与会话配置的 AWSRegion 一致。
• COPY 参数不匹配：即使确认 CSV 参数匹配表头，仍需验证：
  • 是否添加 HEADER 参数（若 CSV 文件首行为表头），否则首行会被当作数据行，可能因类型不匹配被全部拒绝；
  • 分隔符（DELIMITER）、引号符（ENCLOSED BY）是否与 CSV 文件实际格式一致；
  • 临时表的列数、数据类型是否与 CSV 文件列完全匹配，比如文件有 5 列但表仅定义 4 列，或列类型不兼容（如文本存入 INT 类型）。
• 查看拒绝日志：执行 COPY 时添加 REJECTED DATA AS TABLE temp_data_rejects，导入后查询该表，reject_reason 字段会明确说明每行被拒绝的原因：

  SELECT * FROM temp_data_rejects;
  

三、Vertica 12.0.4 自动建表方案说明 #

Vertica 的**自动建表（AUTO CREATE TABLE）**功能在 12.1.0 版本才正式引入，12.0.4 版本不支持通过 COPY 语句直接自动创建表。

替代方案：

• 手动生成建表语句：通过 AWS CLI 下载 CSV.gz 文件到本地，解压后查看表头和数据类型，再编写 CREATE TABLE 语句；
• 脚本化生成：结合 AWS CLI 和 Shell 脚本提取 CSV 表头，自动生成基础建表语句（默认列类型为 VARCHAR，后续可按需调整），示例片段：

  # 下载并解压文件到本地
  aws s3 cp s3://bucket/path.csv.gz - | gzip -d > temp.csv
  # 提取表头生成 CREATE TABLE 语句
  head -1 temp.csv | awk -F ',' '{print "CREATE TEMPORARY TABLE temp_data ("; for(i=1;i<=NF;i++){print "    col"i" VARCHAR(256)"(i==NF?"":",")}; print ");"}'
  

内容的提问来源于stack exchange，提问作者Mesc