You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

DataFrame转Parquet报错:MapBuilder键值数量不匹配问题求助

求助:百万行DataFrame转Parquet时MapBuilder报错问题

已花费两天时间排查仍未解决,特此向社区求助。

我有一个近百万行的DataFrame,将其转换为Parquet格式时出现如下错误:

Check failed: (item_builder_->length()) == (key_builder_->length()) keys and items builders don't have the same size in MapBuilder

观察错误信息后,我认为是包含map类型值的字段导致问题,于是检查了疑似问题列geos,其Schema为:

geos: map<string, string> 

仅转换整表时会触发上述错误。我曾怀疑geos列存在无效值,遂尝试单独转换每一行,意外发现所有行均可成功转换为Parquet。

我推测该错误是由fast-parquet/pyarrow的列大小限制导致,当前使用版本为:

pyarrow==9.0.0
pandas==1.2.5

请问是否有人遇到过类似问题,能否验证我的推测?


内容的提问来源于stack exchange,提问作者Shivangi Singh

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.08.04 14:45:24