如何将Postgres数据导出到S3并生成每行带列名标识的文件

不需要借助JSONB结构，直接在查询中拼接目标格式的字符串即可生成你需要的每行格式，具体实现如下：

核心思路 #

通过PostgreSQL的字符串拼接函数（如concat），将id和name字段直接格式化为id:X,name:Y的形式，再以纯文本格式导出到S3，避免JSONB带来的引号、大括号等额外符号。

示例代码 #

使用aws_s3.query_export_to_s3时，修改查询语句为字符串拼接逻辑：

SELECT aws_s3.query_export_to_s3(
    -- 用美元引号避免单引号转义麻烦，直接拼接目标格式
    $$SELECT concat('id:', id, ',name:', name) AS line FROM sample_table$$,
    -- 替换为你的S3桶名、文件路径和区域
    aws_commons.create_s3_uri('your-bucket-name', 'custom_output.txt', 'us-east-1'),
    -- 指定TEXT格式，确保每行直接输出拼接后的内容
    options := 'FORMAT TEXT'
);

处理NULL值（可选） #

如果表中存在NULL值，可通过coalesce函数替换为自定义占位符，避免拼接出无效内容：

SELECT aws_s3.query_export_to_s3(
    $$SELECT concat(
        'id:', coalesce(id::text, 'NULL'), 
        ',name:', coalesce(name, 'NULL')
    ) AS line FROM sample_table$$,
    aws_commons.create_s3_uri('your-bucket-name', 'custom_output_with_nulls.txt', 'us-east-1'),
    options := 'FORMAT TEXT'
);

说明 #

• FORMAT TEXT参数会让导出的文件每行对应一条查询结果，直接输出字段内容，不会添加CSV的分隔符或JSON的结构符号
• 美元引号（$$）包裹查询语句可以避免内部单引号需要转义的繁琐，比使用转义单引号（''）更易读

内容的提问来源于stack exchange，提问作者Shiyas