900列DataFrame转Parquet报KeyError，如何定位问题列而非全转str

我来帮你搞定这个问题！你遇到的KeyError其实是PyArrow在处理**空struct类型（struct<>）**时的兼容性问题——毕竟to_pickle对数据类型的包容性比Parquet强太多了，所以pickle能正常运行但Parquet会报错。从你贴的报错栈来看，logical_type_map[arrow_type.id]的KeyError最终指向NotImplementedError: struct<>，这直接坐实了是空结构类型的列在拖后腿。

下面是具体的排查和解决步骤，不用把所有列转成字符串，精准定位问题列就行：

一、定位可能的问题列 #

运行这段代码可以找出所有包含空struct的列：

import pyarrow as pa
from pandas.api.types import is_object_dtype

suspect_cols = []
for col in df.columns:
    # 先排查object类型列，空struct常藏在这里
    if is_object_dtype(df[col]):
        try:
            # 尝试用PyArrow转换列，触发错误则标记
            pa.array(df[col])
        except Exception as e:
            if "struct<>" in str(e):
                suspect_cols.append(col)
    # 再检查pandas的PyArrow扩展类型列
    elif hasattr(df[col].dtype, 'pyarrow_dtype'):
        pa_dtype = df[col].dtype.pyarrow_dtype()
        if pa.types.is_struct(pa_dtype) and len(pa_dtype.fields) == 0:
            suspect_cols.append(col)

print("疑似导致报错的列：", suspect_cols)

二、验证问题列 #

把怀疑的列单独拿出来测试导出，确认是不是它们的问题：

# 仅导出怀疑的列到临时Parquet文件
df[suspect_cols].to_parquet("test_suspect.parquet")

如果这一步报错，就100%确认是这些列的问题；如果没问题，再扩大范围排查其他列就行。

三、针对性处理问题列 #

找到问题列后，只需要单独处理它们，不用动其他列：

• 最简单的方式：把这些列转成字符串（和你全量转换的效果一样，但更高效）：

  df[suspect_cols] = df[suspect_cols].astype(str)
  

• 如果是空值导致的空struct，也可以填充为None让PyArrow兼容：

  df[suspect_cols] = df[suspect_cols].fillna(None)
  

• 要是你需要保留结构信息，可以把空struct转成空字典，再重新定义PyArrow的struct类型（适合有实际字段的情况）：

  for col in suspect_cols:
      df[col] = df[col].apply(lambda x: {} if pd.isna(x) else x)
      # 后续可以用pa.struct()定义具体字段类型后再导出
  

内容的提问来源于stack exchange，提问作者Ritwick Pandey