Python执行PostgreSQL导出数据到AWS S3的SQL语句报错如何解决

错误根本原因 #

你代码中使用的\gset是psql交互式命令行客户端的专属功能，作用是将查询结果保存为psql本地变量，不属于标准SQL语法，Python的PostgreSQL数据库驱动（如psycopg2）无法识别该命令，因此执行时直接报错。同时第二条SQL中使用的:'s3_uri_1'也是psql专属的变量调用语法，同样不适用于Python驱动执行场景。

正确实现步骤 #

• 第一步：去掉\gset后缀，直接执行S3 URI生成查询，从查询结果中取出URI值存入Python变量
• 第二步：使用Python驱动支持的参数化查询语法，将URI变量传入导出S3的SQL语句中执行

修正后的代码示例（以psycopg2驱动为例） #

print('PostgreSQL database version:')
# 1. 执行查询获取S3 URI，不需要\gset
cur.execute("SELECT aws_commons.create_s3_uri('data-analytics-bucket02-dev','output','ap-southeast-1')")
s3_uri = cur.fetchone()[0]
# 2. 参数化传入URI到导出查询，使用%s作为占位符
cur.execute(
    "SELECT * FROM aws_s3.query_export_to_s3('SELECT * FROM sample_table', %s);",
    (s3_uri,)
)

其他前置检查项 #

如果修改代码后仍有报错，请确认以下配置正常：

• PostgreSQL实例已经成功安装aws_s3和aws_commons扩展，可执行CREATE EXTENSION IF NOT EXISTS aws_s3 CASCADE;开启
• PostgreSQL实例关联的IAM角色已经配置了目标S3桶的写入权限
• 你的数据库账号有调用aws_s3.query_export_to_s3函数的权限

内容的提问来源于stack exchange，提问作者Abhinaya