求助：使用Pandas/Arrow读取Snowflake生成的分区Parquet文件报错

针对ARROW-13851导致的Parquet分区读取时类型冲突、Schema不一致问题，可通过以下几种方式解决：

方法一：修改Snowflake导出逻辑，从根源避免问题 #

调整COPY语句的分区写法和字段定义，确保所有分区文件的Schema和类型完全统一：

1. 使用Snowflake原生分区语法，替代手动路径拼接
   不要手动构造分区路径字符串，改用官方原生分区语法，它会自动维护分区字段的一致性：

   COPY INTO 's3://path/to/folder/'
   FROM (
       SELECT transaction.TRANSACTION_ID, OUTPUT_SCORE, MODEL_NAME, ACCOUNT_ID, to_char(TRANSACTION_DATE,'YYYY-MM') as SCORE_MTH
       FROM transaction
   )
   PARTITION BY (SCORE_MTH, ACCOUNT_ID) -- 原生分区语法，自动生成标准分区路径
   FILE_FORMAT = (TYPE=PARQUET)
   HEADER=TRUE
   

   这种写法能避免出现分区字段的字典编码与普通字符串类型冲突的问题，同时保证所有分区的字段数量一致。

2. 强制统一字段数据类型
   对可能出现类型波动的字段，在SELECT语句中显式指定类型，避免Snowflake根据单分区数据自动推断不同类型：

   SELECT 
       transaction.TRANSACTION_ID::STRING, 
       OUTPUT_SCORE::DOUBLE,
       MODEL_NAME::STRING, 
       ACCOUNT_ID::INT32,
       to_char(TRANSACTION_DATE,'YYYY-MM')::STRING as SCORE_MTH
   FROM transaction
   

方法二：读取时强制统一Schema（针对已导出的文件） #

如果无法重新导出数据，可在读取阶段指定统一的目标Schema，让Arrow强制按设定类型解析：

1. 用PyArrow指定Schema读取

   import pyarrow as pa
   from pyarrow.parquet import ParquetDataset
   
   # 定义统一的目标Schema
   target_schema = pa.schema([
       ('TRANSACTION_ID', pa.string()),
       ('OUTPUT_SCORE', pa.float64()),
       ('MODEL_NAME', pa.string()),
       ('ACCOUNT_ID', pa.int32()),
       ('SCORE_MTH', pa.string())
   ])
   
   # 读取时关闭Schema校验并强制使用目标Schema
   dataset = ParquetDataset(
       'path/to/parquet/',
       schema=target_schema,
       use_legacy_dataset=False,
       validate_schema=False
   )
   table = dataset.read()
   df = table.to_pandas()
   

2. Pandas简化版读取
   结合engine='pyarrow'直接指定字段类型：

   import pandas as pd
   
   df = pd.read_parquet(
       'path/to/parquet/',
       engine='pyarrow',
       dtype={
           'TRANSACTION_ID': 'string',
           'OUTPUT_SCORE': 'float64',
           'MODEL_NAME': 'string',
           'ACCOUNT_ID': 'int32',
           'SCORE_MTH': 'string'
       },
       use_legacy_dataset=False,
       validate_schema=False
   )
   

方法三：使用DuckDB直接读取（绕过Arrow的Schema合并限制） #

DuckDB对Parquet分区的类型兼容处理更灵活，可直接读取并自动适配类型差异：

import duckdb

# 用DuckDB连接并读取
con = duckdb.connect()
df = con.execute("SELECT * FROM parquet_scan('path/to/parquet/**/*.parquet')").fetchdf()

也可以直接用DuckDB的SQL语句查询，无需额外配置即可处理类型不一致的问题。

内容的提问来源于stack exchange，提问作者Ehsan Fathi