如何通过boto3在AWS Redshift集群中创建指定schema的表

可以通过boto3完成目标Redshift集群的指定表创建，核心注意点如下：

• boto3的redshift模块仅提供Redshift集群生命周期管控能力（比如集群创建、修改配置、快照管理等），不支持直接执行数据库内的SQL语句，这也是你没在对应模块文档里找到建表相关方法的原因。
• 执行库内SQL需要使用boto3的redshift-data模块，该模块封装了Redshift Data API能力，不需要你手动维护数据库连接、打通网络到集群的端口，直接通过AWS API通道即可下发SQL，非常适合多集群场景下的自动化运维操作。
• 使用前需要确认你的执行身份拥有两类权限：一是调用Redshift Data API的IAM权限，二是你传入的数据库账号在目标schema下拥有CREATE TABLE的库级权限。

实现示例 #

以下是可直接参考的代码，替换配置项即可使用：

import boto3

# 初始化Redshift Data API客户端，替换为你的集群所在AWS区域
redshift_data_client = boto3.client('redshift-data', region_name='ap-southeast-1')

# 替换为你实际的业务配置
CONFIG = {
    "cluster_id": "target-redshift-cluster-identifier",
    "db_name": "your-database-name",
    "db_user": "db-account-with-create-permission",
    "schema": "your-target-schema-name",
    "table_name": "your-target-table-name"
}

# 拼接建表SQL
create_table_sql = f"""
CREATE TABLE IF NOT EXISTS {CONFIG['schema']}.{CONFIG['table_name']}
( 
    marketplaceId    integer ,
    cohort    varchar(90) ,
    segment    varchar(90) ,
    eventName    varchar(90) ,
    propensity_bin_id    integer ,
    run_date    varchar(90) ,
    model_version    integer ,
    customer_id    numeric(38,0) ,
    event_date    date ,
    role    varchar(90) ,
    dsi_split    varchar(90) ,
    target_metric    varchar(90) ,
    horizon    varchar(90) ,
    actual_target_value    numeric(38,5) ,
    predicted_baseline_value    numeric(38,5) ,
    predicted_treatment_value    numeric(38,5) ,
    winsorized_residual_value    numeric(38,5) ,
    residual_variance    numeric(38,5) ,
    is_valid    integer ,
    run_id    varchar(90) ,
    occurrence    varchar(90)  
);
"""

# 下发SQL执行请求
exec_resp = redshift_data_client.execute_statement(
    ClusterIdentifier=CONFIG['cluster_id'],
    Database=CONFIG['db_name'],
    DbUser=CONFIG['db_user'],
    Sql=create_table_sql
)

# 查询执行结果
query_id = exec_resp['Id']
status_resp = redshift_data_client.describe_statement(Id=query_id)
print(f"建表SQL执行状态: {status_resp['Status']}")
if status_resp['Status'] == 'FAILED':
    print(f"执行失败原因: {status_resp['Error']}")

其他可选方案 #

如果你不想使用Redshift Data API，也可以通过boto3的redshift模块调用get_cluster_credentials接口获取数据库临时访问凭证，再配合psycopg2这类PostgreSQL数据库客户端直连Redshift集群执行建表SQL。这种方案需要你的运行环境和Redshift集群之间网络连通（安全组放行对应端口、VPC路由配置正确），适合已经打通数据库网络的场景。

提示：如果你的Redshift是Serverless版本，redshift-data模块的调用参数略有不同，不需要传集群ID，替换为Workgroup名称即可。

内容的提问来源于stack exchange，提问作者Abhishek Patel