如何在Python Lambda中用AWS Wrangler跨多Athena数据库查询及排障

问题背景 #

我正尝试使用AWS Wrangler Python库构建Python Lambda函数，从多个AWS Athena数据库拉取数据。

使用的代码：

wr.athena.read_sql_query('across databases sql query', 'one of databases name')

查询语句示例：

select * from data_catalog1.database1.table1 as a 
left join data_catalog2.database2.table2 as b on a.id = b.id;

调用过程中出现两类权限错误：

• 抛出异常，提示表存在于同一组织下的另一个AWS账户中
• 提示没有权限访问Athena设置页指定的输出S3存储桶

修改查询语句无效，仅查询数据目录本身的数据库/列表时可正常执行。

疑问解答 #

1. AWS Athena数据库是否可能存在于一个AWS账户中，而其数据文件存储在另一个AWS账户中？ #

完全可能。Athena本身不存储数据，仅通过Glue元数据映射S3中的数据文件。你可以在账户A中创建Athena表，直接指向账户B的S3桶数据，只要满足两个条件：

• 账户B的S3桶配置了允许账户A访问的权限策略
• 账户A的IAM实体（比如Lambda执行角色）拥有访问该S3桶的权限

2. 如何查看AWS Athena表的数据文件存储位置，以及确认S3输出存储桶是否存在？ #

查看表的数据文件存储位置

• 控制台方式：进入Athena控制台，找到目标数据库和表，点击表名进入详情页，在「表属性」中查看Location字段，即为数据所在的S3路径。
• CLI方式：执行命令：

  aws glue get-table --database-name <数据库名> --name <表名>
  

  返回结果的StorageDescriptor.Location字段就是S3存储路径。
• AWS Wrangler方式：调用wr.athena.describe_table()方法获取表元数据，从中提取存储位置。

确认S3输出存储桶是否存在

• 控制台方式：进入S3控制台，直接搜索Athena设置中指定的输出桶名称，验证是否存在。
• CLI方式：执行命令：

  aws s3api head-bucket --bucket <桶名>
  

  返回200状态码则说明桶存在；若报错，要么桶不存在，要么当前IAM实体无访问权限。
• 补充：Athena默认输出桶格式通常为s3://aws-athena-query-results-<账户ID>-<区域>/，可核对格式是否正确。

3. 除了试错法，是否有更好的方法排查该问题的根本原因？ #

可以按以下步骤系统性排查：

1. IAM权限审计

   • 检查Lambda执行角色的权限策略，确认包含：
     • Athena核心权限：StartQueryExecution、GetQueryExecution、GetQueryResults等
     • 所有涉及S3桶（表数据桶、Athena输出桶）的s3:GetObject、s3:ListBucket权限
     • 涉及数据目录的glue:GetTable、glue:GetDatabase权限
   • 用IAM Access Analyzer检查权限是否缺失或过度限制，也可通过CloudTrail查看Lambda执行时的API调用日志，定位被拒绝的具体操作。

2. 跨账户权限验证

   • 若涉及跨账户S3数据，确认对方账户的S3桶策略是否允许当前Lambda角色ARN访问，比如桶策略中是否包含允许s3:GetObject的语句，目标主体为你的Lambda角色ARN。
   • 若涉及跨账户Glue数据目录，确认该目录已共享给当前账户，可在Glue控制台的「数据目录共享」中查看配置。

3. Athena配置检查

   • 确认Athena工作组（或默认账户级设置）指定的输出S3桶正确，且Lambda角色有访问权限。
   • 在Athena控制台手动执行相同SQL查询，若控制台也报错，说明是权限/配置问题，而非Lambda代码问题。

4. 元数据验证

   • 核对查询中涉及的数据目录、数据库、表名是否完全正确，无拼写错误。可通过wr.athena.list_databases()、wr.athena.list_tables()方法核对元数据。

内容的提问来源于stack exchange，提问作者thebackendmonk