如何通过AWS Glue Job动态读取数据目录所有表并导出CSV

1. 从Glue数据目录获取所有表信息 #

要动态读取数据目录中的表，直接在Glue Job的代码模式中调用Glue API即可，无需额外导入特殊模块：

import boto3
from pyspark.context import SparkContext
from awsglue.context import GlueContext

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session

# 初始化Glue客户端，替换为你的AWS区域
glue_client = boto3.client('glue', region_name='your-region')
# 替换为你的Glue数据库名
database_name = 'your-glue-database-name'

# 获取数据库下所有表信息
response = glue_client.get_tables(DatabaseName=database_name)
tables = response['TableList']

# 遍历表，提取表名和字段映射
for table in tables:
    table_name = table['Name']
    columns = table['StorageDescriptor']['Columns']
    # 生成字段名-类型的映射字典
    field_mapping = {col['Name']: col['Type'] for col in columns}
    print(f"表名：{table_name}，字段映射：{field_mapping}")

2. 批量导出表为CSV到S3 #

拿到表列表后，用Spark SQL读取每个表，再写入到S3的独立路径下：

# 替换为你的目标S3桶路径
s3_output_root = 's3://your-target-bucket/csv-exports/'

for table in tables:
    table_name = table['Name']
    # 读取Glue数据目录中的表
    df = spark.read.table(f"{database_name}.{table_name}")
    
    # 按表名创建独立文件夹，避免文件冲突
    output_path = f"{s3_output_root}{table_name}/"
    # 写入CSV，开启表头覆盖已有文件
    df.write.mode('overwrite') \
      .option('header', 'true') \
      .option('delimiter', ',') \
      .csv(output_path)
    
    print(f"已导出表 {table_name} 到 {output_path}")

关键注意事项 #

• 权限配置：确保Glue Job的IAM角色拥有glue:GetTables（读取数据目录）、s3:PutObject（写入目标桶）权限；若表数据存储在其他S3桶，还需对应桶的s3:GetObject权限
• 分区表处理：如果是分区表，上述代码会自动加载所有分区；如需指定分区，可添加.filter()条件或用Spark SQL指定分区字段
• 性能优化：针对大表，可调整Spark配置（如--num-executors、--executor-memory）提升导出速度
• Athena/Quicksight后续操作：导出的CSV可在Athena中创建外部表指向S3路径，之后直接将Quicksight连接到Athena数据源即可实现数据查询与可视化

内容的提问来源于stack exchange，提问作者davyioner