多Python脚本并行访问HPC本地Neo4j社区版锁与端口冲突问题求解

核心前提结论 #

更换为Neo4j官方驱动无法解决你当前的问题。冲突根源是Neo4j服务端的锁机制和端口占用规则，和客户端驱动（py2neo/官方驱动）无关，二者均通过bolt协议与服务端交互，不会影响服务端的锁逻辑。

可行解决方案 #

方案1：单实例多并发连接（优先推荐，资源占用最低） #

Neo4j社区版本身支持多客户端同时连接，你遇到的锁库问题大概率是任务触发了写事务、或者配置未适配只读场景：

• 若所有链路预测任务均为只读操作无写入需求：修改Neo4j配置文件conf/neo4j.conf，设置dbms.read_only=true，完全关闭库锁校验，允许多个连接同时访问
• 调整连接池配置：修改dbms.connector.bolt.thread_pool_size为你并行任务数的1.2倍以上（默认值为400，通常足以支撑中小型并行任务），同时调大dbms.memory.transaction.global_max_size避免多任务事务内存不足
• 检查Python脚本的事务逻辑：确保脚本执行完查询后主动关闭事务和连接，避免无效连接占用资源

方案2：多实例隔离运行（适合有写入需求、任务需完全隔离的场景） #

如果确实需要每个任务独立操作数据库，只需给每个实例分配独立端口即可解决端口冲突问题：

• 每份复制的数据库实例修改自身conf/neo4j.conf的端口配置：
  • 把bolt端口dbms.connector.bolt.listen_address=:7474改为唯一值，比如7474、7475、7476依次递增
  • 同步修改http端口dbms.connector.http.listen_address=:7473为不同值，避免端口冲突
• 每个实例必须放在独立的目录下，确保data、logs、run等运行目录完全独立，不可共用存储路径，避免文件锁冲突
• 每个Python脚本的连接地址对应修改为目标实例的端口，比如第二个实例使用bolt://localhost:7475

方案3：作业串行调度（临时应急方案，无需修改Neo4j配置） #

如果任务数不多、总执行时长可接受，可以直接通过HPC的作业调度工具（如Slurm）设置所有Python任务为串行依赖，前一个任务执行完成后再启动下一个，从根源避免同时访问的冲突。

内容的提问来源于stack exchange，提问作者T-Man