Neo4j ETL工具迁移MySQL/MSSQL数据卡顿问题求助

一、映射阶段卡顿（测试3） #

针对MSSQL映射卡在爬取routines后的情况：

• 检查数据库权限：确保ETL工具使用的数据库账号能读取sysobjects、information_schema等系统视图，部分MSSQL环境下爬取元数据需要额外权限，缺权限会导致进程挂起而非报错。
• 关闭不必要的元数据爬取：在ETL工具的映射配置里，手动关掉「爬取存储过程/函数」的选项，既然日志显示Retrieved 0 routines，说明该库没有需要导入的routines，关掉能避免无意义的等待。
• 排查网络延迟：局域网内的MSSQL如果存在网络丢包或高延迟，会导致元数据请求超时挂起，用数据库客户端直接连接执行SELECT * FROM information_schema.tables，查看响应速度。

二、数据传输阶段卡顿（测试1&2） #

针对卡在创建DspIexGmp节点的情况：

• 调整批量参数：默认的Unwind Row Size:1000和Transaction Batch Size:10000可能不匹配你的数据结构，试试缩小批量——比如把Unwind Row Size改成200，Transaction Batch Size改成2000，减少单次内存占用和事务压力。
• 拆分节点与关系导入：如果DspIexGmp表有大量关联关系（外键映射成Neo4j的关系），先单独导入该表的节点，再导入关系，避免节点和关系同时创建导致锁竞争。
• 关闭实时约束校验：Neo4j在线导入时会实时检查数据一致性，在ETL工具配置里关掉「实时约束校验」，等全部数据导入后再手动创建约束和索引。
• 排除网络/存储瓶颈：把局域网内的MySQL数据导出成本地CSV，再用ETL工具从本地导入；本地MSSQL可以先备份到SSD再测试，排除存储性能问题。

三、Zulu JVM资源占用过高 #

• 调整JVM堆内存：找到ETL工具的启动配置文件（一般是.ini或.vmoptions），手动设置JVM堆内存上限，比如-Xmx16g（你有64GB内存，分配16-24GB足够，避免JVM占太多内存拖垮系统）。
• 关闭冗余后台服务：Windows下Zulu进程可能附带了Neo4j桌面端的其他服务（比如Bloom、Graph Apps），关掉这些没用的服务，减少资源消耗。

四、Neo4j日志异常处理 #

• 关闭在线版本检查：修改Neo4j的neo4j.conf配置文件，添加dbms.update.enabled=false，禁用自动版本检查，避免反复在线请求干扰导入进程。
• 移除Bloom相关配置：如果不用Bloom，删掉Neo4j安装目录下的Bloom插件，或者在neo4j.conf里注释掉dbms.bloom.*相关配置，解决清单文件解析失败的问题。

替代导入方案 #

如果ETL工具始终不好用，试试这些更稳定的方法：

1. 用Neo4j官方离线导入工具neo4j-admin database import #

• 操作步骤：
  1. 把MySQL/MSSQL的数据导出成CSV，整理表头符合Neo4j格式：节点CSV要包含:ID、:LABEL字段，关系CSV要包含:START_ID、:END_ID、:TYPE字段。
  2. 停止Neo4j服务，执行导入命令，示例：

     neo4j-admin database import full --nodes=DspIexGmp=./dsp_iex_gmp.csv --relationships=REL_TYPE=./relationships.csv --overwrite-destination
     

  3. 启动Neo4j，验证数据。

2. 用Python脚本自定义导入 #

• 用pandas读取源数据库数据，neo4j驱动批量写入，示例代码：

  from neo4j import GraphDatabase
  import pandas as pd
  import sqlalchemy
  
  # 连接源数据库（以MSSQL为例）
  src_engine = sqlalchemy.create_engine("mssql+pyodbc://user:pass@localhost/dbname?driver=ODBC+Driver+17+for+SQL+Server")
  df = pd.read_sql("SELECT * FROM DspIexGmp", src_engine)
  
  # 连接Neo4j
  driver = GraphDatabase.driver("bolt://localhost:7687", auth=("neo4j", "your_password"))
  with driver.session() as session:
      # 每1000条批量提交一次
      for i in range(0, len(df), 1000):
          batch_data = df.iloc[i:i+1000].to_dict("records")
          session.run("""
              UNWIND $batch AS row
              CREATE (n:DspIexGmp {id: row.id, col1: row.col1, col2: row.col2})
          """, batch=batch_data)
  driver.close()
  

• 这种方式能灵活控制批量大小、过滤数据，避开ETL工具的黑盒问题。

内容的提问来源于stack exchange，提问作者AlexisPa