在AWS Glue Notebook中加载前截断表的实现疑问

方法1：Spark SQL直接执行TRUNCATE语句 #

这是最直接的方式，通过Spark的JDBC连接调用Redshift原生TRUNCATE命令，在Glue Notebook中可按以下方式实现：

# 配置Redshift JDBC连接信息
redshift_jdbc_url = "jdbc:redshift://your-cluster-endpoint:5439/your-db?user=your-username&password=your-password"

# 方式1：通过Spark SQL执行
spark.sql(f"TRUNCATE TABLE your_schema.target_table") \
    .write.format("jdbc") \
    .option("url", redshift_jdbc_url) \
    .option("dbtable", "your_schema.target_table") \
    .mode("append") \
    .save()

# 方式2：直接通过JDBC连接执行（更轻量化）
conn = spark._sc._gateway.jvm.java.sql.DriverManager.getConnection(redshift_jdbc_url)
stmt = conn.createStatement()
stmt.execute("TRUNCATE TABLE your_schema.target_table")
stmt.close()
conn.close()

方法2：结合Glue Catalog元数据执行截断 #

如果目标Redshift表已同步到Glue Catalog，可以先通过Catalog获取表的实际信息，再执行截断：

import boto3

# 初始化Glue客户端
glue_client = boto3.client('glue')

# 从Glue Catalog获取Redshift表的元数据
table_meta = glue_client.get_table(
    DatabaseName="your-glue-database",
    Name="your-glue-table-name"
)
# 提取Redshift端的完整表名
redshift_full_table = table_meta['Table']['StorageDescriptor']['Parameters']['dbtable']

# 执行截断操作
redshift_jdbc_url = "jdbc:redshift://your-cluster-endpoint:5439/your-db?user=your-username&password=your-password"
conn = spark._sc._gateway.jvm.java.sql.DriverManager.getConnection(redshift_jdbc_url)
stmt = conn.createStatement()
stmt.execute(f"TRUNCATE TABLE {redshift_full_table}")
stmt.close()
conn.close()

方法3：Glue作业预动作配置 #

如果是在Glue作业中执行加载，可直接通过作业配置添加预动作，无需在Notebook中写代码：

• 打开Glue作业配置页面，选择对应的Redshift连接
• 在「作业参数」中添加--pre-action参数，值设为TRUNCATE TABLE your_schema.target_table;
• 作业启动时会自动先执行截断，再进行后续数据加载

Glue Notebook截断失败常见排查点 #

• 权限问题：确认Glue执行角色拥有redshift:ExecuteQuery权限，且Redshift用户对目标表有TRUNCATE权限
• 连接问题：检查JDBC URL中的集群地址、端口、数据库名、账号密码是否正确，VPC网络是否连通Redshift集群
• 表名大小写：Redshift默认区分大小写，确保代码中表名、Schema名与实际完全一致
• 事务冲突：如果目标表处于未提交的事务中，需先提交/回滚事务再执行TRUNCATE

内容的提问来源于stack exchange，提问作者Cristián Vargas Acevedo