Firehose通过COPY导入数据到Redshift报1205/1206错误

1205、1206错误分别对应Redshift加载时日期格式无效、时间戳格式无效，结合给出的配置，问题点和修复方式如下：

核心问题点 #

• 原始JSON存在语法错误：提供的样例JSON中"Name": "yoyo"行末尾缺失逗号，属于非法JSON结构，会直接导致行解析失败。
• 日期格式配置与实际数据不匹配：当前COPY命令仅指定DATEFORMAT 'YYYY-MM-DD'，但存储的a_date字段实际值为带时间、时区后缀的2021-05-11T00:00:00Z，a_timestamp字段值为带微秒、时区后缀的ISO8601格式，和指定的解析规则完全不匹配。
• 表名存在不一致：COPY命令写入的目标表为pqr_table，但给出的建表语句表名为events，如果不是笔误会直接导致字段映射错位或表不存在错误。
• 未校验JSON路径映射：如果使用的JSON路径文件s3://xyz/abc.json字段顺序和目标表字段顺序不一致，会出现字段错位，把时间值写入字符串字段、把字符串值写入时间字段，触发格式错误。

修复步骤 #

1. 先修正原始数据格式
   补全JSON缺失的逗号，确保单条JSON结构合法，Firehose默认输出为JSON行格式（每行一条JSON，无需数组包裹），修正后的样例如下：

{
    "Name": "yoyo",
    "a_timestamp": "2021-05-11T15:02:02.426729Z",
    "a_date": "2021-05-11T00:00:00Z"
}

2. 修正COPY命令配置
   统一目标表名，替换不匹配的日期格式规则，直接用auto让Redshift自动识别ISO8601标准格式的日期、时间值即可，修正后的命令：

COPY events 
FROM 's3://xyz/<manifest>' 
CREDENTIALS 'aws_iam_role=arn:aws:iam::<aws-account-id>:role/<role-name>' 
MANIFEST 
JSON 's3://xyz/abc.json' 
DATEFORMAT 'auto'
TIMEFORMAT 'auto'
MAXERROR 1;

如果需要显式指定格式匹配规则，可以替换为如下配置：

COPY events 
FROM 's3://xyz/<manifest>' 
CREDENTIALS 'aws_iam_role=arn:aws:iam::<aws-account-id>:role/<role-name>' 
MANIFEST 
JSON 's3://xyz/abc.json' 
DATEFORMAT 'YYYY-MM-DDTHH:MI:SSZ'
TIMEFORMAT 'YYYY-MM-DDTHH:MI:SS.USZ'
MAXERROR 1;

3. 校验JSON路径文件
   确保abc.json中配置的字段顺序和目标表events的字段顺序完全一致，正确的路径文件示例：

{
    "jsonpaths": [
        "$.Name",
        "$.a_timestamp",
        "$.a_date"
    ]
}

4. 错误定位方法
   如果执行后仍然报错，直接查询Redshift加载错误日志表，定位具体错误行和原因：

SELECT starttime, filename, colname, err_code, err_reason 
FROM stl_load_errors 
ORDER BY starttime DESC LIMIT 10;

内容的提问来源于stack exchange，提问作者murali