如何合并多个AWS Glue Catalog表以统一获取多表元数据？

针对你的需求，有三种简单易上手的方案，适合AWS新手操作：

方案一：AWS Glue Python ETL作业（推荐，可自动化） #

通过Glue的Python作业批量提取元数据并整合，步骤如下：

1. 在AWS Glue控制台新建Python Shell作业，配置IAM角色（需包含Glue Catalog读写、S3读写权限）。
2. 编写脚本提取目标表的元数据，示例代码如下：

import boto3
import pandas as pd

# 初始化Glue客户端
glue_client = boto3.client('glue', region_name='your-region')

# 指定要处理的数据库和表列表（也可批量获取数据库下所有表）
database_name = 'your-database'
target_tables = ['table1', 'table2', ..., 'table10']

metadata_list = []

for table_name in target_tables:
    # 获取表详情
    table_response = glue_client.get_table(DatabaseName=database_name, Name=table_name)
    table_info = table_response['Table']
    
    # 提取基础信息
    s3_location = table_info['StorageDescriptor']['Location']
    record_count = table_info.get('Parameters', {}).get('recordCount', 'N/A')
    
    # 遍历列信息
    for column in table_info['StorageDescriptor']['Columns']:
        metadata_list.append({
            'table_name': table_name,
            's3_location': s3_location,
            'column_name': column['Name'],
            'data_type': column['Type'],
            'record_count': record_count
        })

# 转为DataFrame并写入S3（生成整合表）
df = pd.DataFrame(metadata_list)
output_path = 's3://your-bucket/consolidated-metadata/'
df.to_parquet(output_path, index=False)

# （可选）自动创建Glue Catalog表，方便QuickSight读取
glue_client.create_table(
    DatabaseName=database_name,
    TableInput={
        'Name': 'consolidated_metadata',
        'StorageDescriptor': {
            'Location': output_path,
            'InputFormat': 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat',
            'OutputFormat': 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat',
            'SerdeInfo': {
                'SerializationLibrary': 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
            },
            'Columns': [
                {'Name': 'table_name', 'Type': 'string'},
                {'Name': 's3_location', 'Type': 'string'},
                {'Name': 'column_name', 'Type': 'string'},
                {'Name': 'data_type', 'Type': 'string'},
                {'Name': 'record_count', 'Type': 'string'}
            ]
        },
        'TableType': 'EXTERNAL_TABLE'
    }
)

3. 运行作业后，即可在指定S3路径得到整合后的元数据表，同时Glue Catalog中会新增一张表供QuickSight使用。

方案二：Amazon Athena直接查询元数据（最快上手） #

利用Athena查询Glue的系统元数据表，直接生成整合结果：

1. 打开Athena控制台，选择对应的工作组和数据库。
2. 执行以下SQL查询（替换你的数据库名）：

SELECT
    t.table_name,
    t.table_schema AS database_name,
    t.table_location AS s3_location,
    c.column_name,
    c.data_type,
    -- 提取爬虫生成的记录数（若未开启统计则返回NULL）
    JSON_EXTRACT(t.parameters, '$.recordCount') AS record_count
FROM
    information_schema.tables t
JOIN
    information_schema.columns c 
    ON t.table_catalog = c.table_catalog 
    AND t.table_schema = c.table_schema 
    AND t.table_name = c.table_name
WHERE
    t.table_schema = 'your-database'
    AND t.table_type = 'EXTERNAL_TABLE' -- 仅筛选爬虫生成的外部表

3. 点击“保存为表”，将查询结果保存为一张新的Athena表，之后直接在QuickSight中添加Athena数据源即可使用。

方案三：AWS CLI + 命令行工具（适合手动导出） #

用CLI导出元数据后整理成CSV，再导入Glue Catalog：

1. 执行CLI命令获取表元数据：

aws glue get-tables --database-name your-database > tables_metadata.json

2. 用jq工具解析JSON并生成CSV（需提前安装jq）：

jq -r '.TableList[] | .Name as $table | .StorageDescriptor.Location as $s3 | .Columns[] | [$table, $s3, .Name, .Type, (.Parameters.recordCount // "N/A")] | @csv' tables_metadata.json > consolidated_metadata.csv

3. 将生成的CSV上传到S3，然后通过Glue控制台手动创建外部表，或者用Glue爬虫自动识别表结构。

关键注意事项 #

• 记录数获取：若爬虫未生成recordCount参数，需在Glue爬虫设置中开启启用指标，或通过Athena执行SELECT COUNT(*) FROM table手动统计（大数据量不推荐）。
• QuickSight对接：无论用哪种方案生成整合表，只需在QuickSight控制台添加Glue Catalog或Athena作为数据源，选择整合后的表即可创建可视化报表。

内容的提问来源于stack exchange，提问作者BigD