如何将Redshift数据Unload至S3并使用CRLF而非LF作为换行符？

Redshift的UNLOAD命令本身确实没有直接指定CRLF作为换行符的配置项，默认导出的文本文件使用LF（\n）作为换行。不过可以通过以下两种方式实现需求：

方法1：UNLOAD时手动拼接CRLF #

在SELECT语句中，给每行内容末尾拼接CR（chr(13)）和LF（chr(10)）的组合，替代默认的换行符。

示例SQL：

UNLOAD ('SELECT col1 || \',\' || col2 || \',\' || col3 || chr(13) || chr(10) FROM your_table')
TO 's3://your-bucket/unload-path/'
IAM_ROLE 'arn:aws:iam::your-account-id:role/your-unload-role'
TEXT
ALLOWOVERWRITE
PARALLEL OFF; -- 可选，生成单文件而非多分片文件

• 用TEXT格式而非CSV，避免Redshift自动添加LF换行；
• 如果需要CSV格式，建议自己处理字段分隔符和引号，同时确保拼接的CRLF是每行的最终结尾；
• PARALLEL OFF会生成单个文件，适合小数据量场景，大数据量建议保留默认并行导出后再统一处理。

方法2：S3上传后用Lambda转换 #

先按默认LF完成UNLOAD导出，再通过AWS Lambda触发文件转换：

1. 给目标S3桶配置事件触发器，当有新文件上传时触发Lambda；
2. Lambda函数读取文件内容，将所有LF（\n）替换为CRLF（\r\n）；
3. 将转换后的文件写回S3（可覆盖原文件或写入新路径）。

示例Python Lambda核心逻辑：

import boto3

s3 = boto3.client('s3')

def lambda_handler(event, context):
    bucket = event['Records'][0]['s3']['bucket']['name']
    key = event['Records'][0]['s3']['object']['key']
    
    # 读取文件内容
    response = s3.get_object(Bucket=bucket, Key=key)
    content = response['Body'].read()
    
    # 替换LF为CRLF
    converted_content = content.replace(b'\n', b'\r\n')
    
    # 写回S3（这里覆盖原文件，也可指定新key）
    s3.put_object(Bucket=bucket, Key=key, Body=converted_content)
    return {'statusCode': 200, 'body': '转换完成'}

这种方法适合大数据量场景，不影响UNLOAD的导出效率，后续转换过程异步执行。

内容的提问来源于stack exchange，提问作者pan325