Neo4j导入250万行CSV三元组数据遇性能问题求优化

一、最快方案：使用neo4j-admin database import离线导入 #

这是Neo4j官方推荐的大规模数据导入工具，直接绕过Cypher运行时引擎，速度比LOAD CSV快一个数量级，完全适配百万级以上数据场景。

步骤1：预处理CSV文件

你的原始三元组CSV需要拆分为节点文件和关系文件，适配导入工具的格式要求：

1. 节点文件（nodes.csv）：提取所有唯一实体（把原始数据里的entity1和entity2去重），格式如下：

name:ID
entity1
entity2
entity3
...

2. 关系文件（relations.csv）：基于原始数据转换格式，表头使用Neo4j导入工具的特殊关键字：

:START_ID,:TYPE,:END_ID
entity1,RELATION,entity2
entity1,RELATION,entity3
...

说明：:ID、:START_ID、:END_ID、:TYPE是固定关键字，这里直接用实体名称作为节点ID，所以:START_ID和:END_ID填原始的entity1、entity2即可。

步骤2：执行导入命令

先停止Neo4j服务，在终端运行以下命令（替换为你的实际文件路径和数据库名称）：

neo4j-admin database import full \
  --database=your-db-name \
  --nodes=/path/to/nodes.csv \
  --relationships=/path/to/relations.csv \
  --force

• --force用于覆盖已存在的目标数据库（新库可直接添加）；
• 预处理时务必确保节点文件无重复实体，避免导入后出现冗余节点。

二、优化Cypher导入（如果偏好图形界面操作） #

如果坚持用LOAD CSV导入，以下调整能大幅提升速度：

1. 先创建唯一约束
   给Entity的name字段添加唯一约束，让MERGE操作从全表扫描变为索引查找，速度会显著提升：

CREATE CONSTRAINT entity_name_unique FOR (e:Entity) REQUIRE e.name IS UNIQUE;

2. 手动指定事务批量大小
   默认事务批量可能适配性差，根据机器内存调整批量行数（比如10000行）：

:auto LOAD CSV WITH HEADERS FROM 'file:///all_triplets.csv' AS row
CALL {
  WITH row
  MERGE (entity1:Entity {name: row.entity1})
  MERGE (entity2:Entity {name: row.entity2})
  MERGE (entity1)-[:RELATION {name: row.relation}]->(entity2)
} IN TRANSACTIONS OF 10000 ROWS

3. 调整内存配置
   修改Neo4j配置文件neo4j.conf：

• 增大堆内存：dbms.memory.heap.max_size=16G（根据机器内存调整，比如32G内存的机器设16G）；
• 增大页缓存：dbms.memory.pagecache.size=16G（一般设为机器内存的50%）；
• 导入时关闭不必要功能：比如dbms.connector.bolt.enabled=false，导入完成后再开启。

三、额外提示 #

• 导入前关闭Neo4j的自动索引、可视化相关功能，减少资源占用；
• 如果关系类型较多，建议直接用row.relation作为关系类型（比如写成MERGE (entity1)-[: + row.relation + ]->(entity2)），不用在关系上存name属性，更符合图数据库设计规范且效率更高；
• 导入完成后，再创建提取节点嵌入所需的索引。

内容的提问来源于stack exchange，提问作者diegobc11