使用py2neo批量插入/合并Neo4j节点与边的正确实现方法

性能问题根因 #

你之前循环单条merge的方式，每次操作都要单独发起网络请求、开启/提交事务，绝大多数开销都浪费在IO和事务管理上，即使是700个节点耗时5秒也属于正常现象。你使用的unwind_merge_nodes_query性能差的核心原因通常是没有给对应节点的唯一标识字段加唯一约束，以及灵活性不足导致关系处理繁琐。

推荐实现方案 #

优先使用原生Cypher的UNWIND语法批量提交，可同时处理节点和关系，完全解决你遇到的三个问题：

前置准备：添加唯一约束 #

先给每个节点标签的业务唯一键添加唯一约束，这一步能让MERGE操作的性能提升5~10倍：

// 示例：给NodeA的id字段加唯一约束，根据你的实际业务唯一键调整
CREATE CONSTRAINT unique_nodea_id FOR (n:NodeA) REQUIRE n.id IS UNIQUE;
CREATE CONSTRAINT unique_nodeb_id FOR (n:NodeB) REQUIRE n.id IS UNIQUE;

方案1：节点+关系一次性批量提交 #

直接把数据集预处理成统一格式，写一个Cypher一次性完成所有操作，无需单独处理边，也不用维护任何内部ID：

# 预处理数据集，把需要的字段、关系判断条件提前整理好
processed_data = []
for data in dataset:
    processed_data.append({
        "a_id": data["a业务唯一键"],
        "a_props": {"name": data["a名称"], ...其他NodeA属性},
        "b_id": data["b业务唯一键"],
        "b_props": {"name": data["b名称"], ...其他NodeB属性},
        "need_rel": x # 你原来的关系判断条件
    })

# 单次提交完成所有节点、关系的合并
g.run("""
UNWIND $data AS row
MERGE (a:NodeA {id: row.a_id})
SET a += row.a_props
MERGE (b:NodeB {id: row.b_id})
SET b += row.b_props
WITH a, b, row
WHERE row.need_rel = true
MERGE (a)-[r:RELATED_TO_B]->(b)
// 有需要给关系加属性可以在这里SET
""", data=processed_data)

这个方案下700个节点+关系的插入耗时基本可以控制在500ms以内。

方案2：基于GraphObject的批量提交 #

如果你不想放弃GraphObject的ORM映射能力，可以使用py2neo的Batch对象批量提交，性能比循环单条操作高3~5倍：

from py2neo import Batch, Relationship

batch = Batch(g)
for data in dataset:
    node_a = NodeA(data)
    node_b = NodeB(data)
    batch.merge(node_b)
    batch.merge(node_a)
    if x:
        batch.merge(Relationship(node_a, "RELATED_TO_B", node_b))
# 一次性提交所有操作
batch.run()

大数据量优化 #

如果数据量超过10万条，可以按每1000~5000条为一批分批提交，避免单次请求数据量过大导致内存溢出。

内容的提问来源于stack exchange，提问作者Dominus