Apache IoTDB导入数据后查询早于指定时间报错的原因与解决

根据报错信息和操作场景，可能的原因包括以下几点：

• 模板与导入数据的Schema不匹配：挂载模板后，导入的Tablet中gpsAtMillis字段的数据类型或属性与模板定义不一致，导致TsFile存储结构异常，查询时解析失败。
• 导入数据存在非法值：MySQL中的gpsAtMillis字段包含超出INT64范围的数值或非数值内容，写入TsFile后无法正常读取。
• IoTDB 1.1.0版本的已知Bug：该版本在模板挂载场景下的批量写入（insertTablets）存在兼容性问题，可能导致TsFile损坏。

1. 校验数据与模板的一致性 #

• 查看模板中gpsAtMillis的定义：

  SHOW TEMPLATE FOR root.sailfish;
  

• 对比MySQL中gpsAtMillis字段的数据类型，确保其值都在INT64的合法范围内（-9223372036854775808 ~ 9223372036854775807），无非法值。
• 检查Java代码中构建Tablet时，gpsAtMillis指定的数据类型是否为INT64，与模板完全匹配。

2. 检查导入逻辑的正确性 #

• 确认调用sessionPool.insertTablets(tablets, true)时，第二个参数enableAligned与模板的对齐属性一致：如果模板是对齐类型，该参数需设为true；非对齐模板则设为false。
• 导入前可通过COUNT(*)统计MySQL中对应时间范围的数据量，与导入后IoTDB中查询到的数量对比，确认数据是否完整写入。

3. 修复损坏的TsFile #

• 备份报错的TsFile：

  cp /usr/local/sailfish/apache-iotdb-1.1.0-all-bin/data/datanode/data/sequence/root.sailfish/0/2787/1688632177700-1-1-1.tsfile /path/to/backup/
  

• 使用IoTDB内置工具检查文件完整性：

  ./iotdb-cli -u root -p root -c "check '/usr/local/sailfish/apache-iotdb-1.1.0-all-bin/data/datanode/data/sequence/root.sailfish/0/2787/1688632177700-1-1-1.tsfile'"
  

• 若文件确认损坏，删除该文件后重新导入对应时间范围（早于2023-06-07 16:55:40）的数据。

4. 升级IoTDB版本 #

IoTDB 1.1.0存在多个与模板、批量写入相关的已知问题，建议升级到1.1.x系列的最新补丁版本（如1.1.5）或更高稳定版本（如1.2.x），此类版本修复了大量存储层的兼容性Bug。

内容的提问来源于stack exchange，提问作者Li Yu Heng