Apache IoTDB 0.13不停机移除并备份已密封TSFile数据方法咨询

运行时能否直接移除已密封TSFile？ #

在IoTDB 0.13版本中，即便关闭了合并进程，也绝对不能在服务运行时直接删除已密封的TSFile。原因如下：

• 运行中的IoTDB会持续维护这些文件的元数据索引，直接删除文件会造成元数据与实际存储的不一致，触发查询异常甚至服务崩溃。
• 密封文件只是停止写入新数据，但服务仍会读取它们来响应历史查询，强行移除会导致查询失败。

如果需要在运行时安全处理密封TSFile，建议使用内置的归档（Archive）功能——它会自动将指定时间范围的密封TSFile转移到备份目录，同时更新元数据，完全不影响服务运行。执行的SQL命令示例：

ARCHIVE DATA TO '/your/backup/directory' WHERE time <= '2023-01-01 00:00:00'

停机场景下的数据迁移方式 #

如果必须停止服务进行迁移，可选的方案有：

• 直接复制TSFile文件：停止服务后，复制存储目录（默认data/sequence和data/unsequence）下的密封TSFile到备份介质，后续可直接将这些文件导入其他IoTDB实例。
• 导出/导入工具：
  • CSV格式：用export-csv工具导出数据为CSV，再通过import-csv导入到目标实例。命令示例：

    # 导出
    ./export-csv.sh -f /path/to/export_config.json
    # 导入
    ./import-csv.sh -f /path/to/import_config.json
    

  • TSFile格式：用export-tsfile导出为原生TSFile，再用load-tsfile批量导入。这种方式比CSV效率更高，能保留原始存储结构。
• 磁盘级快照：利用LVM快照、云盘快照等工具对IoTDB整个存储目录创建快照，再将快照克隆到目标存储或实例，适合大规模数据的快速迁移。

内容的提问来源于stack exchange，提问作者Hester Tso