求助：如何读取AWS S3中含多SQL语句的文件并在Redshift执行

问题说明 #

S3存储中有一个包含多个分号分隔SQL语句的.sql文件，在Glue作业中尝试两种方法均存在问题：

• 方法一用open()读取S3路径报错，原因是open()仅支持本地文件系统路径，无法直接识别S3地址。
• 方法二用boto3成功获取了文件内容，但未实现SQL语句的拆分。

完整解决方案 #

1. 用boto3读取S3文件内容 #

通过boto3正确获取文件的字符串内容，注意要对响应中的Body进行解码：

import boto3

s3_client = boto3.client('s3')
response = s3_client.get_object(Bucket='bucket1', Key='a.sql')
sql_content = response['Body'].read().decode('utf-8')

2. 拆分SQL语句 #

基础拆分方案（适用于无复杂场景的SQL）

直接按分号拆分，同时过滤空行和示例中的分隔线：

# 拆分后清理无效内容
sql_statements = [
    stmt.strip() 
    for stmt in sql_content.split(';') 
    if stmt.strip() and not stmt.strip().startswith('_______________')
]

进阶拆分方案（处理复杂SQL场景）

如果SQL中存在字符串内的分号、多行注释等复杂情况，建议使用专门的SQL解析库sqlparse（需在Glue作业中添加该依赖）：

import sqlparse

# 安全拆分SQL，自动处理特殊场景
parsed = sqlparse.parse(sql_content)
sql_statements = [
    sqlparse.sql.TokenList(stmt).normalized.strip() 
    for stmt in parsed 
    if stmt.strip()
]

3. 在Redshift中执行SQL语句 #

方法一：用psycopg2驱动执行

import psycopg2

# 配置Redshift连接参数
conn_params = {
    'dbname': '你的数据库名',
    'user': '你的用户名',
    'password': '你的密码',
    'host': '你的Redshift端点',
    'port': '5439'
}

conn = psycopg2.connect(**conn_params)
cursor = conn.cursor()

try:
    for stmt in sql_statements:
        cursor.execute(stmt)
    conn.commit()
except Exception as e:
    conn.rollback()
    raise e
finally:
    cursor.close()
    conn.close()

方法二：用Glue内置Redshift连接执行

借助Glue配置的连接避免硬编码凭证：

from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext()
glueContext = GlueContext(sc)

# 获取Glue中配置的Redshift连接信息
redshift_conn = glueContext.extract_jdbc_conf("你的Glue Redshift连接名")
jdbc_url = f"jdbc:redshift://{redshift_conn['host']}:{redshift_conn['port']}/{redshift_conn['dbname']}"

# 遍历执行SQL语句
for stmt in sql_statements:
    # 根据语句类型调整执行方式，示例为执行DDL/DML
    glueContext.spark_session._jsparkSession().sql(stmt)

注意事项 #

• 使用第三方库（如sqlparse、psycopg2）时，需将依赖包上传至S3，并在Glue作业的Python library path中指定路径。
• 执行前建议验证拆分后的SQL语句有效性，避免因拆分错误导致执行失败。
• 针对大文件或大量SQL语句，建议分批执行，防止超时。

内容的提问来源于stack exchange，提问作者Beginner