DataFrame转Parquet报错:MapBuilder键值数量不匹配问题求助
求助:百万行DataFrame转Parquet时MapBuilder报错问题
已花费两天时间排查仍未解决,特此向社区求助。
我有一个近百万行的DataFrame,将其转换为Parquet格式时出现如下错误:
Check failed: (item_builder_->length()) == (key_builder_->length()) keys and items builders don't have the same size in MapBuilder
观察错误信息后,我认为是包含map类型值的字段导致问题,于是检查了疑似问题列geos,其Schema为:
geos: map<string, string>
仅转换整表时会触发上述错误。我曾怀疑geos列存在无效值,遂尝试单独转换每一行,意外发现所有行均可成功转换为Parquet。
我推测该错误是由fast-parquet/pyarrow的列大小限制导致,当前使用版本为:
pyarrow==9.0.0 pandas==1.2.5
请问是否有人遇到过类似问题,能否验证我的推测?
内容的提问来源于stack exchange,提问作者Shivangi Singh
相关产品推荐
相关产品推荐

