Cassandra跨Keyspace恢复快照时nodetool refresh报错及数据异常

核心问题分析 #

你遇到的节点数量不符、NullPointerException: Could not find type for id错误，确实是因为同时遗漏了Elasticsearch索引的备份恢复，以及Cassandra侧恢复时的元数据与Schema一致性问题，具体操作遗漏点和修复步骤如下：

一、Cassandra侧恢复的关键遗漏步骤 #

1. 目标Keyspace的Schema必须与源Keyspace完全一致 #

直接重建空keyspace_two会丢失JanusGraph存储在Cassandra中的核心元数据（比如节点/边的类型ID映射，存储在system_properties表），这就是Could not find type for id错误的根源。正确步骤：

• 导出源Keyspace的完整Schema：

  docker exec -it jce-cassandra-1 cqlsh -e "DESCRIBE KEYSPACE keyspace_one;" > keyspace_schema.cql
  

• 编辑keyspace_schema.cql，将所有keyspace_one替换为keyspace_two，确保复制策略、压缩配置等参数完全匹配
• 创建目标Keyspace的Schema：

  docker exec -it jce-cassandra-1 cqlsh -f keyspace_schema.cql
  

2. 快照文件的权限与恢复姿势 #

• 将快照SSTable复制到keyspace_two对应表目录后，必须修正文件权限（匹配Cassandra进程的用户，通常是cassandra:cassandra）：

  docker exec -it jce-cassandra-1 chown -R cassandra:cassandra /var/lib/cassandra/data/keyspace_two/
  

• 执行nodetool refresh时不要指定单个表，需整Keyspace刷新，避免部分表元数据未加载：

  docker exec -it jce-cassandra-1 nodetool refresh keyspace_two
  

• 之前的AssertionError就是因为目标表结构与快照SSTable不匹配，导致加载失败。

二、Elasticsearch索引必须同步备份恢复 #

JanusGraph会将图数据的索引同步到Elasticsearch，仅恢复Cassandra数据会导致图数据与索引数据不一致，这是节点数量统计不符的核心原因。

1. ES快照仓库配置（若未配置） #

先创建共享快照仓库（需确保ES集群所有节点可访问该目录，Docker环境下可通过挂载卷实现）：

curl -XPUT "http://<ES_HOST>:9200/_snapshot/janusgraph_backup" -H 'Content-Type: application/json' -d '{
  "type": "fs",
  "settings": {
    "location": "/path/to/backup/directory",
    "compress": true
  }
}'

2. 备份源Keyspace对应的ES索引 #

JanusGraph的ES索引命名规则为janusgraph_<KEYSPACE>_<INDEX_NAME>，比如janusgraph_keyspace_one_edgestore：

curl -XPUT "http://<ES_HOST>:9200/_snapshot/janusgraph_backup/keyspace_one_snapshot?wait_for_completion=true" -H 'Content-Type: application/json' -d '{
  "indices": "janusgraph_keyspace_one_*"
}'

3. 恢复到目标Keyspace的ES索引 #

• 先导出源索引的映射并修改为目标索引名称：

  curl -XGET "http://<ES_HOST>:9200/janusgraph_keyspace_one_edgestore/_mapping" > es_mapping.json
  # 编辑es_mapping.json，将索引名替换为janusgraph_keyspace_two_edgestore
  curl -XPUT "http://<ES_HOST>:9200/janusgraph_keyspace_two_edgestore" -H 'Content-Type: application/json' -d @es_mapping.json
  

• 执行索引恢复并自动重命名：

  curl -XPOST "http://<ES_HOST>:9200/_snapshot/janusgraph_backup/keyspace_one_snapshot/_restore" -H 'Content-Type: application/json' -d '{
    "indices": "janusgraph_keyspace_one_*",
    "rename_pattern": "janusgraph_keyspace_one_(.*)",
    "rename_replacement": "janusgraph_keyspace_two_$1"
  }'
  

三、最终验证与收尾 #

1. 重启JanusGraph实例，使其重新连接keyspace_two与对应的ES索引
2. 执行数据一致性校验：
   • JanusGraph统计：g.V().count()、g.E().count()，与源Keyspace对比
   • ES索引统计：curl -XGET "http://<ES_HOST>:9200/janusgraph_keyspace_two_edgestore/_count"，确保与Cassandra数据量匹配
   • 随机查询报错的ID：g.V(<ERROR_ID>).valueMap()，验证类型元数据正常加载

内容的提问来源于stack exchange，提问作者Ravindra Gupta