使用APOC加载Parquet至Neo4j时遇重复键错误，请求排查

错误原因分析 #

你遇到的Multiple element with the same key found, but the element type is not a list错误，核心问题出在手动指定的mapping参数与Parquet实际schema不匹配：

• 你将member_node指定为MAP类型，但Parquet中的member_node是一个包含label字符串和properties数组的结构体（struct）。
• APOC在尝试将结构体强制转换为MAP时，错误地解析了properties数组的结构，导致触发重复键的误判，即使你确认properties中的key是唯一的。

解决方案 #

方案1：移除手动mapping，让APOC自动推断Schema

APOC的apoc.load.parquet可以自动识别Parquet的结构体和数组类型，无需手动指定复杂类型的mapping。修改后的脚本如下：

CALL apoc.load.parquet(
    'part-00000-183a44db-1c2a-4e98-9db2-6aefaa419751-c000.snappy.parquet',
    {batchSize: 50000}
) YIELD value AS row
RETURN *

如果需要进一步将properties数组转换为Neo4j可用的属性Map，可以在加载后用apoc.map.fromPairs处理：

CALL apoc.load.parquet(
    'part-00000-183a44db-1c2a-4e98-9db2-6aefaa419751-c000.snappy.parquet',
    {batchSize: 50000}
) YIELD value AS row
WITH
    row.globalcustid,
    row.member_node.label AS member_label,
    apoc.map.fromPairs(row.member_node.properties.map(p => [p.key, p.value])) AS member_props,
    row.relationships AS relationships
// 处理关联节点和关系
UNWIND relationships AS rel_item
WITH
    globalcustid, member_label, member_props,
    rel_item.node.label AS target_label,
    apoc.map.fromPairs(rel_item.node.properties.map(p => [p.key, p.value])) AS target_props,
    rel_item.relationship.label AS rel_type,
    apoc.map.fromPairs(rel_item.relationship.properties.map(p => [p.key, p.value])) AS rel_props
// 创建节点与关系
MERGE (m:`${member_label}` {globalcustid: globalcustid})
SET m += member_props
MERGE (t:`${target_label}`)
SET t += target_props
MERGE (m)-[r:`${rel_type}`]->(t)
SET r += rel_props
RETURN m, r, t

方案2：若必须使用mapping，指定正确的类型

如果需要保留mapping，仅对简单类型（如globalcustid）指定类型，不要手动指定结构体或数组类型：

CALL apoc.load.parquet(
    'part-00000-183a44db-1c2a-4e98-9db2-6aefaa419751-c000.snappy.parquet',
    {
        batchSize: 50000,
        mapping: {globalcustid: 'Varchar'}
    }
) YIELD value AS row
RETURN *

关键注意点 #

• 避免对Parquet中的结构体（struct）或数组（array）类型强制指定MAP或LIST，APOC会自动解析这些复杂类型。
• 使用apoc.map.fromPairs可以将key-value结构体数组转换为Neo4j节点/关系的属性Map，这是加载此类嵌套数据的标准做法。

内容的提问来源于stack exchange，提问作者Kevin Lee