使用boto3从AWS Glue获取表并创建DataFrame时遇参数验证错误求助

你的代码存在多处拼写错误和逻辑问题，直接导致了参数校验失败及功能异常，以下是具体修正方案：

1. 核心错误：参数名称拼写错误 #

get_tables接口的必填参数是DatabaseName（首字母大写N），你写成了Databasename，这是触发"parameter validation failed"的直接原因。

2. 存储路径访问逻辑错误 #

get_tables返回的响应中，表信息存在于TableList数组里，你错误地尝试从response['Table']读取数据，正确做法是从循环中的tables对象获取。

3. 字段拼写错误 #

StorageDescriptor中的路径字段是Location，你写成了Loaction（少了一个字母c）。

4. 函数逻辑缺陷 #

当前代码循环到第一个表就直接return，只会返回第一个表的DataFrame。如果你需要读取所有表，需要调整逻辑返回集合。

修正后：读取单个表的代码 #

import boto3
from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()
glueclient = boto3.client('glue', region_name='xyz')

def read_table(catalog: str, database: str, table_name: str):
    # 按表名精准查询，比get_tables更高效
    params = {"DatabaseName": database, "Name": table_name}
    # 如果使用非默认catalog，添加CatalogId参数
    if catalog:
        params["CatalogId"] = catalog
    response = glueclient.get_table(**params)
    par_loc = response['Table']['StorageDescriptor']['Location']
    return spark.read.parquet(par_loc)

修正后：读取所有表并返回字典的代码 #

import boto3
from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()
glueclient = boto3.client('glue', region_name='xyz')

def read_all_tables(catalog: str, database: str):
    params = {"DatabaseName": database}
    if catalog:
        params["CatalogId"] = catalog
    response = glueclient.get_tables(**params)
    table_dfs = {}
    for table in response['TableList']:
        tablename = table['Name']
        par_loc = table['StorageDescriptor']['Location']
        table_dfs[tablename] = spark.read.parquet(par_loc)
    return table_dfs

更简洁的Glue原生实现 #

在AWS Glue环境中，无需通过boto3手动获取路径，直接用GlueContext读取Catalog表更高效：

from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext()
glueContext = GlueContext(sc)

# 读取单个表
df = glueContext.create_dynamic_frame.from_catalog(
    database="your_database",
    table_name="your_table",
    catalog_id="your_catalog_id"  # 非默认时添加
).toDF()

内容的提问来源于stack exchange，提问作者Vee JayBee