使用PyArrow 8.0.0查询列表内嵌套字段失败问题求助

你的问题确实是列表类型嵌套字段的查询语法问题，核心原因是忽略了列表类型必须先访问其内部元素的默认字段名element，才能进入嵌套的结构体层级。

字段结构差异对比 #

• Object是直接的结构体类型：struct<Id: int64, Core: string, Building: int32>，因此ds.field("Object", "Id")可以直接逐层访问结构体字段，语法完全正确。
• Features是列表包裹的结构体：list<element: struct<Feature: struct<...>, Value: double>>，列表类型的内部元素默认以element作为字段名，必须先指定这个层级，才能继续访问嵌套的Feature和Id。

正确查询语句 #

将你的查询语句修改为：

ds.field("Features", "element", "Feature", "Id").isin([3])

原理说明 #

PyArrow中所有列表类型的字段，其内部元素的访问都需要通过默认的element字段名来定位，跳过这个层级会导致字段路径无法匹配，从而抛出ArrowInvalid错误。补上element这一层级后，就能正确定位到列表内嵌套结构体的Id字段。

内容的提问来源于stack exchange，提问作者Henry