Glue Jobs创建表并写入S3时触发URISyntaxException占位符错误求助

一、URISyntaxException错误修复 #

错误原因 #

该报错是因为S3路径格式不符合Glue要求：path参数必须是完整的S3绝对URI（以s3://开头），而你的target_s3_path大概率使用了相对路径（如./s3/...）或缺少s3://前缀，导致URI解析失败。

修复步骤 #

• 修正路径格式：确保target_s3_path为完整的S3路径，格式为s3://<桶名>/<前缀路径>/，例如s3://bda-us-east-1/bdling/custre/
• 检查路径定义：排查代码中target_s3_path的赋值逻辑，避免使用相对路径或本地文件路径格式
• 验证权限：确认Glue作业使用的IAM角色拥有目标S3桶的读写权限，权限缺失也可能间接导致路径解析异常

二、创建表并写入数据的优化方法 #

1. 分区策略优化 #

• 控制分区列基数：避免用高基数列（如用户ID、订单ID）做分区列，否则会生成大量小文件，拖慢读写和查询性能；优先选查询频率高、基数适中的列（如region_id、date）
• 调整分区列顺序：把查询时常用作过滤条件的列放在前面，比如将region_id（低基数、高频过滤）放在date之前，提升分区修剪效率

2. 写入性能优化 #

• 启用Parquet压缩：添加.option('compression', 'snappy')开启Snappy压缩，减少S3存储占用的同时提升数据读写速度
• 调整并行度：根据数据量配置Glue作业的资源参数（--num-executors、--executor-cores等），避免数据倾斜或资源浪费
• 明确写入模式：通过.mode('overwrite')或.mode('append')指定写入模式，避免默认模式带来的意外覆盖或数据重复

3. 表元数据与作业优化 #

• 前置表存在性检查：写入前用spark.catalog.tableExists('bdling.custre')判断表是否存在，灵活选择创建、追加或覆盖逻辑
• 使用Glue DynamicFrame：处理半结构化数据时，用DynamicFrame替代DataFrame，利用Glue自动推断Schema、处理脏数据的能力
• 启用Job Bookmarks：针对增量同步场景，开启Job Bookmarks可跳过已处理的数据，大幅提升作业效率

修正后的示例代码 #

# 定义正确的S3目标路径
target_s3_path = "s3://bda-us-east-1/bdling/custre/"

# 优化后的写入代码
orderdf.write.format('parquet') \
    .option('compression', 'snappy') \
    .partitionBy('region_id', 'mar', 'date', 'ised') \
    .mode('overwrite') \
    .saveAsTable('bdling.custre', path=target_s3_path)

内容的提问来源于stack exchange，提问作者user3858193