HBase 1.2.3导出备份：保留策略与S3存储配置问询

针对你在HBase 1.2.3用Export功能做S3备份遇到的两个问题，我结合实际运维经验整理了可行的解决方案：

HBase 1.2.3的Export功能本身没有自带备份保留策略，得靠我们自己结合备份目录的规范来实现。你之前的自定义删除逻辑卡壳在无法区分块文件的归属，其实不用纠结单个块文件，换个思路从备份目录的组织方式入手就能解决：

• 首先，给备份目录做标准化命名：每次执行Export时，把表名、备份类型（全量/增量）、时间戳嵌入到S3目录路径里，比如：

  • 全量备份：s3://your-bucket/base/full-table1-20240520-120000/
  • 增量备份：s3://your-bucket/base/incremental-table1-20240521-120000/
    这样从目录名就能直接知道这是哪个表的备份、是全量还是增量，以及备份时间，后续删除旧备份时，只要筛选出创建时间超过x天的目录直接删除即可，完全不用管单个块文件。

• 如果已经有一批未规范命名的旧备份，也能补救：

  1. 查看S3目录的LastModified时间，确定备份的大致时间；
  2. 每个Export目录里会有_SUCCESS文件和任务日志，日志里能找到执行Export时指定的表名和时间范围（全量备份没有start/end时间，增量备份会有）；
  3. 用HBase Shell的list_regions <table>命令，能关联备份目录里的region文件名到对应的表。

• 优化你的自定义删除脚本：不用遍历单个文件，而是按整个备份目录来处理。比如用AWS CLI或者Hadoop FS命令列出所有备份目录，过滤掉保留天数内的，剩下的直接删除整个目录（比如hadoop fs -rm -r s3://your-bucket/base/incremental-table1-20240420-120000/）。

首先明确：S3作为对象存储，通过Hadoop的FileSystem抽象层（比如s3a协议），可以实现和本地FS几乎一致的目录存储逻辑。但这里要先提醒你：本地FS上把所有备份文件放同一目录其实不是最佳实践，容易导致文件混乱、恢复困难，S3上同理。但如果业务确实有这个需求，还是可以实现的：

• 直接指定同一S3目录作为Export输出：执行Export命令时，每次都用同一个路径，比如s3://your-bucket/base/all-backups/。但要注意，Hadoop默认不允许输出目录已存在，所以执行命令前需要先设置覆盖参数：

  export HADOOP_OPTS="-Dmapreduce.output.fileoutputformat.outputdir.overwrite=true"
  hbase org.apache.hadoop.hbase.mapreduce.Export table1 s3://your-bucket/base/all-backups/
  

  这样每次Export会把新的备份文件追加到这个目录里，和本地FS上的效果一致。

• 但要注意的风险：

  1. 所有备份文件混在一起，无法区分全量和增量，也无法按表单独管理；
  2. 恢复时只能导入整个目录，无法选择性恢复某一次备份；
  3. 保留策略很难执行，因为无法单独删除某一批旧备份的文件。

所以还是建议你在S3上也按表、备份类型、时间戳来组织目录，和本地FS的规范备份方式对齐，这样后续维护、恢复、清理都会省心很多。

内容的提问来源于stack exchange，提问作者Sunil Agarwal