RDS转Neptune的DMS任务将所有行映射为单个顶点的问题排查

核心问题原因 #

所有RDS行被合并为单个顶点、属性值以数组存储，本质是所有行生成了相同的顶点ID——图数据库中，相同ID的顶点会被合并，后续行的属性会被追加为多值（因此表现为数组）。

配置排查点 #

1. 顶点ID模板的字段有效性 #

检查vertex_id_template中的{id}是否对应RDS表的唯一非空主键字段：

• 如果RDS表的id字段存在重复值、空值，或者并非实际主键，所有行都会生成重复的顶点ID（比如RESEARCHER_或RESEARCHER_1重复出现），导致顶点合并。
• 执行SQL验证：

SELECT id, COUNT(*) FROM table_name GROUP BY id HAVING COUNT(*) > 1;
SELECT COUNT(*) FROM table_name WHERE id IS NULL;

2. 表名配置准确性 #

确认配置中的table_name与RDS中实际表名完全一致（包括大小写，部分数据库如PostgreSQL对表名大小写敏感），若表名错误，DMS可能未正确读取目标表数据，或意外同步了重复数据。

3. DMS任务源配置 #

检查DMS任务的源端点配置，确保仅同步目标表，未误包含其他重复数据的表。

修复步骤 #

1. 修正顶点ID模板：将vertex_id_template替换为基于表实际唯一主键的模板，例如表主键是researcher_id，则改为：

"vertex_id_template": "RESEARCHER_{researcher_id}"

2. 确保table_name与RDS表名完全匹配。
3. 清空目标图数据库中已存在的错误顶点数据，重新运行DMS同步任务。
4. 验证结果：
   • 用Gremlin查询确认顶点数量与RDS表行数一致：

     g.V().hasLabel('researcher').count()
     

   • 查看单个顶点属性（若想得到单值而非数组，可使用project替代valueMap）：

     g.V('RESEARCHER_123').project('first_name','prime_faculty').by('first_name').by('prime_faculty')
     

注：Gremlin的valueMap()默认返回数组形式的属性值，即使是单值，这是Gremlin的默认行为，并非数据同步问题。若需要单值输出，可使用上述project语法或valueMap().with(WithOptions.tokens)。

内容的提问来源于stack exchange，提问作者John