如何在AWS Glue中获取Spark输出文件的write_id及c000变化规则？

一、获取<write_id>的可行方案 #

文件名中的<write_id>本质是Spark执行写入作业时生成的提交ID（Commit ID），在AWS Glue环境中，可通过以下方式获取：

• 写入完成后从表元数据提取：执行saveAsTable后，通过Spark SQL查询表的扩展元数据，其中的Spark SQL Commit ID字段就是目标<write_id>，示例代码（PySpark）：

  table_name = "your_target_table"
  # 执行写入操作
  df.write.saveAsTable(table_name, partitionBy=["partition_col"], path="s3://your-output-path")
  
  # 查询并提取Commit ID
  desc_rows = spark.sql(f"DESCRIBE EXTENDED {table_name}").collect()
  write_id = next(row.value for row in desc_rows if row.col_name == "Spark SQL Commit ID")
  

  注意：该ID只能在写入完成后获取，无法提前预生成，因为它与当前写入作业的执行上下文强绑定。

二、c000字段的变更逻辑 #

c000是文件的分桶索引标识，其变更规则如下：

• 若写入时未使用bucketBy参数做分桶配置，该值固定为c000，不会发生变化，无需额外处理。
• 若使用了bucketBy(bucket_num, "bucket_col")配置分桶，该字段会从c000开始递增，最大为c{bucket_num-1}（比如分桶数为3时，会出现c000、c001、c002）。

三、可靠回溯任务生成文件的方案 #

由于<write_id>无法提前获取，可通过以下方式实现精准回溯：

1. 自定义任务标识关联Write ID：任务启动时生成一个自定义唯一ID（如UUID），写入完成后将该ID与<write_id>一起存入Glue Catalog的元数据表（比如专门的任务日志表）。后续回溯时，通过自定义ID查询到对应<write_id>，再结合以下规则拼接所有可能的文件名：

   part-<partition_id>-<write_id>.c<bucket_index>.snappy.parquet
   

   其中<partition_id>的范围由任务设置的spark.sql.shuffle.partitions参数决定（默认200），<bucket_index>根据分桶数确定（无分桶则固定为000）。
2. 绑定Glue任务Run ID：通过glueContext.job_run_id获取当前Glue任务的唯一Run ID，将其与<write_id>关联存储，后续可通过Run ID快速定位对应任务生成的文件标识。

内容的提问来源于stack exchange，提问作者Meos