如何程序化设置Delta表的spark.sql.sources.provider属性以适配Athena？

一、通过AWS Glue API（Boto3）程序化修改表属性 #

Databricks限制Hive metastore表的属性不能以spark.sql.开头，所以可以绕开Databricks直接操作Glue元数据来添加目标属性，步骤如下：

1. 先执行你原来的建表语句（去掉spark.sql.sources.provider='delta'这一项，避免触发报错）
2. 使用Boto3调用Glue API更新表属性，示例代码：

import boto3

# 初始化Glue客户端，替换为你的AWS区域
glue_client = boto3.client('glue', region_name='us-east-1')

# 替换为你的数据库和表名
database_name = 'your_database'
table_name = 'your_table'

# 获取当前表的元数据
response = glue_client.get_table(DatabaseName=database_name, Name=table_name)
current_table = response['Table']

# 添加目标属性
current_table['Parameters']['spark.sql.sources.provider'] = 'delta'

# 构造更新请求
update_request = {
    'DatabaseName': database_name,
    'TableInput': {
        'Name': table_name,
        'Owner': current_table['Owner'],
        'CreateTime': current_table['CreateTime'],
        'LastAccessTime': current_table['LastAccessTime'],
        'Retention': current_table['Retention'],
        'StorageDescriptor': current_table['StorageDescriptor'],
        'PartitionKeys': current_table['PartitionKeys'],
        'Parameters': current_table['Parameters'],
        'TableType': current_table['TableType'],
        'TargetTable': current_table.get('TargetTable')
    }
}

# 执行属性更新
glue_client.update_table(**update_request)

二、优化建表语句（可选） #

你原来的建表语句中指定的是SequenceFile存储格式，和Delta表的标准格式不符，可能影响Athena识别。建议替换为Delta对应的SerDe和输入输出格式：

CREATE TABLE $database.$table($dataSchemaAsDDL)
ROW FORMAT SERDE 'io.delta.hive.DeltaSerDe'
STORED AS INPUTFORMAT 'io.delta.hive.DeltaInputFormat'
OUTPUTFORMAT 'io.delta.hive.DeltaOutputFormat'
LOCATION '$path_to_demo_table'
TBLPROPERTIES ('classification'='delta','table_type'='delta','delta.lastCommitTimestamp'='$deltaLastCommitTimestamp','delta.lastUpdateVersion'='$deltaLastUpdateVersion')

三、验证生效 #

执行完上述操作后，可通过Glue控制台查看表属性，或直接用Athena测试查询，确认表能正常访问。

内容的提问来源于stack exchange，提问作者lealvcon