PostgreSQL导出数据到S3报错：Token过期问题求助

核心问题：你使用的IAM角色会话时长仅12小时，而导出任务耗时超过16小时，且query_export_to_s3函数不会自动续期临时凭证，导致令牌过期后上传失败。

具体原因 #

• 会话时长限制：你提到的角色会话时长12小时，意味着EC2实例获取的临时访问令牌最长有效期就是12小时，到期后直接失效，不会因为任务未完成而延长。
• 函数无自动续期逻辑：query_export_to_s3在启动导出任务时会一次性获取AWS凭证，后续全程复用该凭证，不会主动检测凭证有效期或刷新令牌。当任务运行超过12小时，凭证过期，向S3上传分片时就会触发ExpiredToken错误。
• 匹配你的场景：统计5亿条记录耗时4小时，导出500GB数据必然远超12小时，三次重复均在16小时左右报错，完全符合会话到期的时间线（12小时后凭证失效，后续上传操作直接失败）。

可行解决方案 #

• 拆分导出任务：按ID范围、时间区间等条件将数据拆分为多个小批次，确保每个批次的导出时长控制在12小时以内。例如：

  -- 按ID分段导出
  SELECT query_export_to_s3('SELECT * FROM your_table WHERE id BETWEEN 1 AND 100000000', 'your-bucket', 'part1.csv', 'us-east-1');
  SELECT query_export_to_s3('SELECT * FROM your_table WHERE id BETWEEN 100000001 AND 200000000', 'your-bucket', 'part2.csv', 'us-east-1');
  

  导出完成后，S3同一前缀下的文件可直接合并使用。
• 使用IAM用户长期凭证：由于AWS IAM角色最大会话时长上限为12小时，若无法满足需求，可改用IAM用户的长期访问密钥（注意妥善保管，任务完成后及时禁用或轮换）。修改PostgreSQL的AWS扩展配置，使用该用户的AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY，这类凭证不会自动过期，能支撑长时间导出任务。
• 优化导出效率：通过调整导出分片大小、启用并行导出（若扩展支持）、优化源表查询性能（如添加合适索引、只导出必要字段）等方式，缩短单批次导出耗时，尽量控制在12小时以内。

内容的提问来源于stack exchange，提问作者Alonso Valdivia