如何将S3上Parquet文件的PyArrow Schema转换为可用的Glue Schema？

一、手动转换PyArrow Schema到Glue兼容格式 #

直接读取Parquet的PyArrow Schema后，逐个字段映射Glue支持的数据类型，解决兼容性问题：

• 核心逻辑：遍历PyArrow Schema的每个字段，将PyArrow类型对应到Glue的StructField类型，用boto3调用Glue API创建自定义表
• 示例代码（基于boto3）：

import pyarrow.parquet as pq
import boto3
from pyarrow import DataType

# 读取S3上的Parquet数据集，获取PyArrow Schema
parquet_dataset = pq.ParquetDataset("s3://your-bucket/target-path/")
pa_schema = parquet_dataset.schema

# 定义PyArrow到Glue类型的映射规则
def pa_to_glue_type(pa_type: DataType):
    basic_type_map = {
        'int64': 'bigint',
        'int32': 'int',
        'int16': 'smallint',
        'int8': 'tinyint',
        'float64': 'double',
        'float32': 'float',
        'string': 'string',
        'bool': 'boolean',
        'timestamp[ns]': 'timestamp',
        'date32[day]': 'date'
    }
    # 处理嵌套Struct类型
    if isinstance(pa_type, pyarrow.StructType):
        sub_fields = [
            {'Name': f.name, 'Type': pa_to_glue_type(f.type), 'Nullable': f.nullable}
            for f in pa_type
        ]
        return {'StructType': {'Fields': sub_fields}}
    # 处理Array类型
    elif isinstance(pa_type, pyarrow.ListType):
        return {'ArrayType': {
            'ElementType': pa_to_glue_type(pa_type.value_type),
            'ContainsNull': True
        }}
    # 处理Decimal类型（需提取精度和刻度）
    elif isinstance(pa_type, pyarrow.Decimal128Type):
        return f"decimal({pa_type.precision}, {pa_type.scale})"
    return basic_type_map.get(str(pa_type), 'string')

# 构建Glue表所需的Schema结构
glue_columns = [
    {
        'Name': field.name,
        'Type': pa_to_glue_type(field.type),
        'Nullable': field.nullable
    }
    for field in pa_schema
]

# 调用Glue API创建外部表
glue_client = boto3.client('glue')
glue_client.create_table(
    DatabaseName='your-target-db',
    TableInput={
        'Name': 'custom-parquet-table',
        'TableType': 'EXTERNAL_TABLE',
        'StorageDescriptor': {
            'Columns': glue_columns,
            'Location': 's3://your-bucket/target-path/',
            'InputFormat': 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat',
            'OutputFormat': 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat',
            'SerdeInfo': {
                'SerializationLibrary': 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
            }
        }
    }
)

• 注意事项：PyArrow带时区的timestamp类型需要手动转换为Glue兼容的无时区timestamp；嵌套类型要递归处理映射规则。

二、用Glue爬虫获取指定路径的Schema #

如果想用爬虫提取Schema但不直接生成正式表，可按以下步骤操作：

• 1. 创建临时数据库，用于存储爬虫生成的临时表
• 2. 配置爬虫：指定目标S3路径，将输出表指向临时数据库
• 3. 运行爬虫后，通过Glue API读取临时表的Schema
• 4. 按需删除临时表和数据库
• 示例代码提取爬虫生成的Schema：

glue_client = boto3.client('glue')
# 获取临时表的Schema信息
temp_table = glue_client.get_table(
    DatabaseName='temp-spider-db',
    Name='temp-table-generated'
)
extracted_schema = temp_table['Table']['StorageDescriptor']['Columns']
# 可以用这个Schema创建自定义正式表

• 注意：如果原Parquet文件结构不符合爬虫推断逻辑，可能会出现Schema偏差，此时手动转换更可靠。

三、常见兼容性问题修复 #

• Decimal类型：PyArrow的Decimal128类型要提取精度和刻度，映射为Glue的decimal(p,s)格式
• 嵌套数组：需明确指定数组的元素类型和空值允许状态
• 空值属性：确保Glue字段的Nullable属性与PyArrow字段保持一致

内容的提问来源于stack exchange，提问作者bmcristi