如何将S3中带有'\n'换行符的|分隔文件复制到Redshift

根因分析 #

• Lambda生成内容时写入的是字面量\n（即\和n两个独立字符），而非实际的ASCII换行符（十六进制0x0A），Redshift默认不会将字面量\n识别为行分隔符，会把整个文件识别为单行，所有|都会被识别为列分隔符，自然触发列数超出表结构的Extra column(s) found报错
• Redshift COPY命令未显式指定与文件匹配的分隔符、行分隔符参数，默认配置和文件格式不兼容
• base64编码/解码过程中出现异常转义，导致换行符丢失

修复步骤 #

1. 修正Lambda生成文件的逻辑 #

确保写入的是实际换行控制字符，而非转义后的字面量\n，以Python为例：

import base64

all_lines = []
# 构造每行数据
for row in 源数据:
    # 错误写法：写入字面量\n
    # line = f"{row['col1']}|{row['col2']}|{row['col3']}\\n"
    # 正确写法：写入实际ASCII换行符
    line = f"{row['col1']}|{row['col2']}|{row['col3']}\n"
    all_lines.append(line)

# 拼接后再做base64编码
content_bytes = ''.join(all_lines).encode('utf-8')
b64_content = base64.b64encode(content_bytes).decode('utf-8')
# 后续写入S3的逻辑

其他开发语言逻辑一致，需写入对应语言下的原生换行控制字符，不要做额外转义。

2. 调整Redshift COPY命令参数 #

显式指定与文件格式匹配的配置项，示例如下：

COPY 目标表名
FROM 's3://<你的S3桶路径>/<文件前缀>'
IAM_ROLE 'arn:aws:iam::<你的AWS账号ID>:role/<Redshift访问S3的角色名>'
DELIMITER '|'
-- 显式指定行分隔符为LF换行符
LINESEPARATOR '\n'
-- 如果文件是base64编码，添加该参数自动解码
B64ENCODE
-- 可选：如果文件首行是表头，添加该参数跳过第一行
IGNOREHEADER 1
REGION '<你的AWS区域>';

3. 异常排查验证 #

如果调整后仍报错，可将S3文件下载到本地，用十六进制编辑器查看换行位置的字符编码：

• 正常换行符的编码为0x0A
• 如果是字面量\n，编码为0x5C 0x6E，说明Lambda侧的换行符写入逻辑仍有问题

内容的提问来源于stack exchange，提问作者coderman