如何为AWS Glue Python作业指定S3输出文件名称？

嘿，我来帮你搞定这个AWS Glue输出文件名的问题！你遇到的是Spark分布式输出的典型特性——默认会生成带Hadoop风格命名的分片文件，要改成Customer_Transaction.json得分成两步走：先合并成单个文件，再重命名替换掉默认的part文件。

核心思路 #

Spark（Glue基于Spark）的分布式计算会将数据拆分成多个分区处理，输出时每个分区对应一个part文件。要得到单个指定名称的文件，需要：

1. 将处理后的数据集合并为单个分区，写入临时S3目录
2. 使用AWS SDK（boto3）将临时目录里的part文件重命名为目标文件名，并清理临时文件

完整代码示例 #

假设你已经完成了Aurora表的连接和数据处理，得到了最终的DataFrame final_df，可以加入以下代码实现自定义命名：

import boto3
from awsglue.context import GlueContext
from pyspark.context import SparkContext

# 初始化Glue上下文（如果你的作业里还没初始化的话）
sc = SparkContext.getOrCreate()
glueContext = GlueContext(sc)

# --------------------------
# 1. 将数据写入临时S3目录，合并为单个文件
# --------------------------
# 替换成你的临时目录路径，建议用一个专属的临时文件夹避免冲突
temp_s3_path = "s3://your-target-bucket/temp-customer-transaction/"
# coalesce(1) 将所有数据合并到一个分区，确保只生成一个part文件
final_df.coalesce(1).write.mode("overwrite").json(temp_s3_path)

# --------------------------
# 2. 重命名临时文件为目标名称并清理临时目录
# --------------------------
s3_client = boto3.client('s3')
bucket_name = "your-target-bucket"
# 替换成你想要的最终文件路径和名称
target_file_key = "final-output/Customer_Transaction.json"

# 列出临时目录下的所有文件，找到生成的part.json文件
response = s3_client.list_objects_v2(Bucket=bucket_name, Prefix=temp_s3_path)
if 'Contents' in response:
    # 先复制part文件到目标路径
    for obj in response['Contents']:
        if obj['Key'].endswith('.json'):
            s3_client.copy_object(
                Bucket=bucket_name,
                CopySource={'Bucket': bucket_name, 'Key': obj['Key']},
                Key=target_file_key
            )
            break  # 找到第一个（也是唯一的）json文件就停止
    
    # 清理临时目录下的所有文件（包括_SUCCESS标记文件）
    for obj in response['Contents']:
        s3_client.delete_object(Bucket=bucket_name, Key=obj['Key'])

关键注意事项 #

• coalesce(1)的适用场景：如果你的数据集非常大（比如几十GB以上），合并到单个分区可能会导致单个Executor节点压力过大，影响作业性能。这种情况下可以考虑保留多文件输出，或者用S3批处理工具合并，但对于中小数据集来说，coalesce(1)是最简单的方案。
• 权限配置：确保Glue作业的IAM角色拥有S3的ListBucket、PutObject、CopyObject、DeleteObject权限，否则会出现权限报错。
• 临时目录覆盖：使用mode("overwrite")确保每次作业运行时临时目录都是干净的，避免残留旧文件干扰。

内容的提问来源于stack exchange，提问作者Kiran