JanusGraph后端从HBase迁移至Cassandra的最优方案咨询

一、最优方案：使用JanusGraph官方Export/Import工具链 #

这是最推荐的方案，因为它完全适配JanusGraph的数据模型，能保证数据完整性、schema一致性，避免自定义代码可能出现的模型兼容问题。

步骤1：从HBase导出数据

1. 准备HBase版JanusGraph配置文件（比如janusgraph-hbase.properties），确保能正常连接HBase集群；
2. 通过代码导出全量数据为标准GraphSON格式：

JanusGraph hbaseGraph = JanusGraphFactory.open("janusgraph-hbase.properties");
// 导出全图数据到本地文件
GraphSONWriter.build().create().writeGraph(new FileOutputStream("janusgraph-full-data.json"), hbaseGraph);
hbaseGraph.close();

步骤2：导入到Cassandra后端

1. 准备Cassandra版JanusGraph配置文件（比如janusgraph-cassandra.properties），提前初始化好Cassandra集群并确认schema与HBase端完全一致；
2. 读取导出的GraphSON文件并导入到Cassandra：

JanusGraph cassandraGraph = JanusGraphFactory.open("janusgraph-cassandra.properties");
GraphSONReader.build().create().readGraph(new FileInputStream("janusgraph-full-data.json"), cassandraGraph);
// 提交最终事务
cassandraGraph.tx().commit();
cassandraGraph.close();

二、自定义Java代码读写方案（适合需要中间数据处理的场景） #

如果需要在迁移过程中对数据做自定义清洗、转换，可以直接通过JanusGraph的API分别操作HBase和Cassandra实例，逐行迁移数据。

核心实现思路

1. 同时初始化HBase和Cassandra的JanusGraph实例；
2. 遍历HBase图中的所有顶点、边，复制其标签、属性及关联关系到Cassandra图中；
3. 批量提交事务，避免频繁提交导致性能损耗。

代码示例片段

JanusGraph hbaseGraph = JanusGraphFactory.open("janusgraph-hbase.properties");
JanusGraph cassandraGraph = JanusGraphFactory.open("janusgraph-cassandra.properties");
GraphTraversalSource hbaseT = hbaseGraph.traversal();
GraphTraversalSource cassandraT = cassandraGraph.traversal();

int batchSize = 1000;
int count = 0;

// 迁移顶点
for (Vertex v : hbaseT.V()) {
    Vertex newVertex = cassandraGraph.addVertex(v.label());
    // 复制所有顶点属性
    v.properties().forEach(p -> newVertex.property(p.key(), p.value()));
    
    count++;
    if (count % batchSize == 0) {
        cassandraGraph.tx().commit();
    }
}
cassandraGraph.tx().commit();

// 迁移边
count = 0;
for (Edge e : hbaseT.E()) {
    // 通过ID匹配Cassandra中的对应顶点
    Vertex outV = cassandraT.V(e.outVertex().id()).next();
    Vertex inV = cassandraT.V(e.inVertex().id()).next();
    
    Edge newEdge = outV.addEdge(e.label(), inV);
    // 复制边属性
    e.properties().forEach(p -> newEdge.property(p.key(), p.value()));
    
    count++;
    if (count % batchSize == 0) {
        cassandraGraph.tx().commit();
    }
}
cassandraGraph.tx().commit();

hbaseGraph.close();
cassandraGraph.close();

关键注意事项 #

• Schema一致性：迁移前必须确保Cassandra端的JanusGraph schema（顶点标签、边标签、属性名称及类型）与HBase端完全一致，否则会出现属性写入失败或类型不匹配问题；
• 索引优化：迁移期间可临时关闭Cassandra端的索引构建，待全量数据导入完成后再重建索引，大幅提升导入速度；
• 数据校验：迁移完成后，对比两边的顶点数、边数、核心属性数量，确保无数据丢失：

long hbaseVertexCount = hbaseT.V().count().next();
long cassandraVertexCount = cassandraT.V().count().next();
System.out.println("HBase顶点数：" + hbaseVertexCount + " | Cassandra顶点数：" + cassandraVertexCount);

• 性能调整：临时将Cassandra的读写一致性级别设为LOCAL_ONE，降低集群同步开销，提升迁移效率。

内容的提问来源于stack exchange，提问作者Rajeev Ranjan