HBase配置KEEP_DELETED_CELLS=True的列族如何永久删除指定行
开启KEEP_DELETED_CELLS=True的HBase表永久删除指定行的操作方案
核心原理
开启KEEP_DELETED_CELLS=True后,普通删除操作只会写入墓碑标记,HBase在合并(Compaction)阶段会按照配置的最大版本数、TTL保留指定数量的历史删除单元格,普通deleteall操作无法物理清除冗余数据,需通过调整配置配合合并、快照过滤等方式实现永久删除。
可落地的操作方法
方案1:临时调整列族配置(适合允许短时间停表的场景)
- 操作步骤:
- 禁用目标业务表:
disable '你的目标表名' - 修改待清理列族的配置,临时关闭KDC、清空版本保留数:
alter '你的目标表名', NAME => '你的列族名', KEEP_DELETED_CELLS => false, VERSIONS => 1 - 重新启用表:
enable '你的目标表名' - 执行指定行的全量删除:
deleteall '你的目标表名', '待删除的目标行RowKey' - 触发全量大合并,物理清除墓碑标记和历史残留:
major_compact '你的目标表名' - 合并完成后,按需将列族配置改回原
KEEP_DELETED_CELLS=True的参数即可
- 禁用目标业务表:
注意:大合并会占用大量磁盘IO,建议在业务低峰期执行。
方案2:基于快照的行级过滤清理(适合不允许长时间停表的在线生产场景)
- 操作步骤:
- 先对原表打全量快照做备份,不影响在线读写:
snapshot '你的目标表名', 'snapshot_backup_2024XX' - 克隆快照生成临时清理表:
clone_snapshot 'snapshot_backup_2024XX', 'temp_clean_table' - 对临时表执行方案1的改配置、删指定行、大合并操作,清理目标行的所有残留数据
- 验证临时表的目标行已被完全删除、其余业务数据正常后,对临时表打新的清理后快照
- 短时间禁原表,将业务流量切换到基于清理后快照克隆的新正式表,旧表归档留存即可
- 先对原表打全量快照做备份,不影响在线读写:
优势:所有清理操作都在快照衍生的临时表上完成,全程不影响原表的在线业务读写。
方案3:高时间戳墓碑配合强制合并(无需临时停表)
- 操作步骤:
- 执行指定行的全量删除时,将删除时间戳设为
Long.MAX_VALUE(当前可设置的最大时间戳),确保墓碑标记覆盖该行走所有历史数据:deleteall '你的目标表名', '待删除的目标行RowKey', TIMESTAMP => 9223372036854775807 - 等自然触发的major compaction完成,或手动触发该表的大合并后,该行下所有低于最大时间戳的历史数据、残留墓碑都会被物理清除
- 执行指定行的全量删除时,将删除时间戳设为
注意:该方案的清理效果取决于列族配置的最大版本数,如果配置的版本数大于1,可能会残留最新的少量版本数据,需按需调整版本参数。
验证清理结果
执行完清理操作后,可通过带RAW=true的扫描命令查看目标行是否还有残留的原始数据和墓碑标记:scan '你的目标表名', STARTROW => '待删除RowKey', STOPROW => '待删除RowKey1', RAW => true
内容的提问来源于stack exchange,提问作者Alexandr Antonov
相关产品推荐
相关产品推荐

