Spark导入Neo4j未加载全部关系的问题排查与解决

问题详情 #

使用Spark向Neo4j图数据库导入约1100万条关系（所有节点已存在于图中），执行代码如下：

dfRelationships.repartition(2).write.format("org.neo4j.spark.DataSource")\
.option("url", "neo4j://someurl:7687") \
.option("authentication.type", "basic")\
.option("authentication.basic.username", f"{username}")\
.option("authentication.basic.password", f"{password}")\
.mode("overwrite")\
.option("relationship", "CONNECTED")\
.option("transaction.retries", 100)\
.option("batch.size",1000)\
.option("relationship.save.strategy", "keys")\
.option("relationship.source.node.keys", "parent:id")\
.option("relationship.target.node.keys", "child:id")\
.option("relationship.source.labels", "node")\
.option("relationship.target.labels", "node")\
.save()

未使用.repartition(2)会引发竞态条件问题，dfRelationships已完成过滤和清洗，数据样例如下：

parent , child
1        2
2        3
2        4      

写入命令执行成功后，图中仅显示约450万条关系，而此前该命令可正常加载全部关系。已通过Neo4j浏览器执行以下命令删除节点：

:auto
MATCH (n:Node)
CALL { WITH n
DETACH DELETE n
} IN TRANSACTIONS OF 50000 ROWS;

排查过程中未发现日志异常，无法定位问题原因，疑惑Neo4j是否存在关系缓存机制。

解决方案 #

问题根源：节点采用双标签配置，部分节点未设置node标签，而索引仅针对node标签创建，导致Neo4j无法找到这些未被索引的节点，进而无法创建对应关系。

双标签配置的业务原因 #

业务场景需要动态标签查询，但Cypher仅支持硬编码标签的查询，例如：

MATCH (u:User {username:'admin'}),  (r:Role {name:'ROLE_WEB_USER'}) CREATE (u)-[:HAS_ROLE]->(r)

当图中存在随机标签配对时，需为每种关系编写自定义查询。将所有节点统一标记为node标签后，可将关系表合并为一张，避免数据拆分。目前未找到可实现动态标签的APOC库。

示例对比 #

• 多标签关系表场景：

parentid , childid, parentLabel, childLabel
1           2         User        Role
2           3         Admin       Role
2           4         Actor       Played

需针对每行编写不同Cypher：

MATCH (u:User {username:'admin'}),  (r:Role {name:'ROLE_WEB_USER'}) CREATE (u)-[:HAS_ROLE]->(r)
MATCH (u:Admin {username:'admin'}),  (r:Role {name:'ROLE_WEB_USER'}) CREATE (u)-[:HAS_ROLE]->(r)
MATCH (u:Actor {username:'admin'}),  (r:Played {name:'ROLE_WEB_USER'}) CREATE (u)-[:HAS_ROLE]->(r)

• 统一NODE标签场景：

parentid , childid, parentLabel, childLabel
1           2         NODE        NODE
2           3         NODE        NODE
2           4         NODE        NODE

可通过单条语句批量加载：

MATCH (u:NODE {username:'admin'}),  (r:NODE {name:'ROLE_WEB_USER'}) CREATE (u)-[:RELATIOSNSHIP]->(r)

内容的提问来源于stack exchange，提问作者ak97