使用TDengine执行更新操作时如何避免产生数据碎片

避免碎片生成的可行方案 #

• 导入数据前预排序：将带过期时间标签的csv文件先按照时间主键列 + 过期时间标签列做升序排序，保证写入TDengine的数据是按时间递增顺序写入，避免随机时间戳写入导致的跨文件离散存储，从根源降低碎片产生概率。
• 优化更新操作逻辑：如果需要批量更新特定属性，尽量按时间分片批量执行，不要跨大范围时间戳随机执行单条更新；非强一致要求的场景，可改用UPSERT写入新行+业务层过滤旧数据的逻辑替代直接更新，避开对已有存储块的修改。
• 调整建库建表参数：建库时根据你的数据生命周期配置匹配的DURATION、KEEP参数，同时适当降低MAX_ROWS参数的单数据块行数阈值，减少单存储块需要修改时的碎片扩散范围。

已产生碎片的整理方法 #

TDengine原生提供碎片整理能力，无需依赖第三方工具：

• 手动触发整理：执行COMPACT TABLE <表名>;即可触发指定表的存储块合并整理，需要全库整理时可执行COMPACT DATABASE <库名>;。整理过程不会阻塞正常读写，仅会占用少量额外IO和CPU资源，可在业务低峰期执行。
• 开启自动整理：修改taos.cfg配置文件，设置compact_enable 1开启自动碎片整理机制，同时通过compact_threshold参数设置触发阈值（推荐设置为30，即单存储块碎片率超过30%时自动触发整理），系统会自动在低峰时段执行整理操作无需人工介入。
• 碎片率查询：执行SHOW TABLE STORAGE <表名>;即可查看指定表的碎片率、存储块数量等存储相关指标，判断是否需要执行整理操作。

内容的提问来源于stack exchange，提问作者naissance