Neo4j Desktop中LOAD CSV导入70万条数据耗时过长的问题求助

嗨，新手朋友别慌！遇到大数据量导入慢的情况太常见了，咱们来一步步排查优化，先看看你的代码和操作里可以调整的地方：

1. 先修复代码里的小笔误 #

你写的r.w_update_dt = row.W.UPDATE_DT明显是个拼写错误，CSV列名应该是W_UPDATE_DT吧？这个错误会导致该字段一直设为null，虽然没报错，但可能会额外增加数据库的处理开销，先把这个修正过来。

另外，ON CREATE SET里重复设置了r.row_wid = toInteger(row.ROW_WID)，其实MERGE的时候已经给节点设置了这个属性，完全可以删掉这一行，减少不必要的操作。

2. 确保索引的高效性 #

你提到已经建了索引，但要确认这个索引是针对:Registrant(row_wid)的唯一约束，而不是普通索引。因为MERGE操作需要检查节点唯一性，唯一约束自带的索引比普通索引的检查效率要高得多。如果还没建唯一约束，可以先执行：

CREATE CONSTRAINT registrant_row_wid_unique ON (r:Registrant) ASSERT r.row_wid IS UNIQUE;

3. 调整事务批次大小 #

你用的IN TRANSACTIONS of 1000 ROWS，这个批次大小对于70万条数据来说可能偏小，事务的启动/提交开销会累积。可以尝试调整到2000、5000甚至10000（根据你的机器内存情况调整，别太大避免内存溢出），测试哪个批次速度最快。

4. 换用更高效的批量导入工具 #

原生的LOAD CSV虽然方便，但面对百万级数据时，离线导入工具neo4j-admin import速度会快几个数量级——它绕过了事务日志的写入开销，直接写入数据文件。如果你可以暂时停止Neo4j服务，强烈推荐用这个工具：

• 在Neo4j Desktop里找到你的数据库，点击"Open Folder" -> "Import"，把registrants.csv放进去
• 打开终端，进入Neo4j安装目录下的bin文件夹
• 执行类似这样的命令（根据你的节点属性调整）：

neo4j-admin import --database=your-db-name --nodes=Registrant=registrants.csv --id-type=INTEGER

注意：这个操作会清空目标数据库，执行前一定要备份！

5. 优化内存配置 #

默认的Neo4j内存设置不足以支撑大数据量导入，你需要调整neo4j.conf里的参数：

• dbms.memory.heap.max_size：堆内存，建议设为机器内存的1/4到1/3（比如8G内存的机器设为2G-3G）
• dbms.memory.pagecache.size：页缓存，建议设为机器内存的1/2（比如8G内存设为4G）
  调整后重启Neo4j，再尝试导入。

6. 用APOC工具提升并行处理能力 #

如果不想用离线导入，试试Neo4j的APOC插件里的apoc.periodic.iterate，它支持多线程并行处理批量任务，比原生的IN TRANSACTIONS效率高很多。先确保你已经安装了APOC插件，然后替换成下面的代码：

CALL apoc.periodic.iterate(
  "LOAD CSV WITH HEADERS FROM 'file:///registrants.csv' AS row RETURN row",
  "MERGE (r:Registrant {row_wid: toInteger(row.ROW_WID)})
   ON CREATE SET
     r.w_insert_dt = row.W_INSERT_DT,
     r.w_update_dt = row.W_UPDATE_DT,
     r.email_address = row.EMAIL_ADDRESS,
     r.attendee_contact_wid = toInteger(row.ATTENDEE_CONTACT_WID),
     r.attendee_account_wid = toInteger(row.ATTENDEE_ACCOUNT_WID),
     r.reg_contact_wid = toInteger(row.REG_CONTACT_WID),
     r.reg_account_wid = toInteger(row.REG_ACCOUNT_WID),
     r.event_wid = toInteger(row.EVENT_WID),
     r.tkt1_wid = toInteger(row.TKT1_WID),
     r.tkt2_wid = toInteger(row.TKT2_WID),
     r.tkt3_wid = toInteger(row.TKT3_WID),
     r.tkt4_wid = toInteger(row.TKT4_WID),
     r.tkt5_wid = toInteger(row.TKT5_WID),
     r.tkt6_wid = toInteger(row.TKT6_WID),
     r.current_flg = row.CURRENT_FLG,
     r.delete_flg = row.DELETE_FLG,
     r.created_on_dt = row.CREATED_ON_DT,
     r.updated_on_dt = row.UPDATED_ON_DT,
     r.reg_dt = row.REG_DT,
     r.attend_dt = row.ATTEND_DT,
     r.cancel_dt = row.CANCEL_DT,
     r.alumni = row.ALUMNI,
     r.reg_channel = row.REG_CHANNEL",
  {batchSize: 2000, parallel: true, retries: 3}
) YIELD batches, total
RETURN batches, total;

最后小提醒 #

先把当前跑了12小时的导入任务终止吧，继续跑下去也是浪费时间。按照上面的步骤先修正代码、调整配置，再从小批量数据测试速度，没问题再跑全量70万条。

备注：内容来源于stack exchange，提问作者Windstorm1981