如何在CDP上使用Hive快照？及Hive表快照恢复方法咨询

一、提前确认前提 #

• 已对目标Hive表对应的HDFS存储路径创建过快照（例如原表路径为/user/hive/warehouse/db_name.db/table_name，快照名如table_snapshot_20240520）
• 已备份Hive表的DDL语句（若未备份，原表存在时可通过show create table db_name.table_name;导出；原表已删除则需从元数据备份中获取）

二、具体操作步骤 #

1. 重建Hive数据库与表结构 #

若原数据库/表已被删除，先重建数据库（按需执行）：

CREATE DATABASE IF NOT EXISTS db_name;
USE db_name;

使用备份的DDL重建表，示例：

CREATE TABLE table_name (
  col1 INT,
  col2 STRING
)
STORED AS PARQUET
LOCATION '/user/hive/warehouse/db_name.db/table_name';

注意：重建表的LOCATION路径需与原表一致，若指定新路径，后续需将快照数据迁移至新路径。

2. 从HDFS快照恢复数据到表存储路径 #

先查看目标快照的路径：

hdfs dfs -ls /user/hive/warehouse/db_name.db/table_name/.snapshot/

找到待恢复的快照名后，将快照内的数据复制到当前表的HDFS路径：

• 若当前表路径为空，直接复制：

hdfs dfs -cp /user/hive/warehouse/db_name.db/table_name/.snapshot/table_snapshot_20240520/* /user/hive/warehouse/db_name.db/table_name/

• 若当前表路径有残留数据，先清空再复制：

hdfs dfs -rm -r /user/hive/warehouse/db_name.db/table_name/*
hdfs dfs -cp /user/hive/warehouse/db_name.db/table_name/.snapshot/table_snapshot_20240520/* /user/hive/warehouse/db_name.db/table_name/

3. 同步Hive元数据（按需执行） #

数据恢复后，若Hive元数据未同步，执行修复命令：

MSCK REPAIR TABLE db_name.table_name;

该命令会同步分区表的分区元数据，非分区表执行后也可确保元数据与HDFS数据一致。

4. 验证恢复结果 #

查询表数据确认恢复成功：

SELECT * FROM db_name.table_name LIMIT 10;

额外注意事项 #

• 执行HDFS命令的用户需拥有原表路径、快照路径的读写权限
• 若为外部表，重建时需添加EXTERNAL关键字，避免删除表时误删HDFS数据
• HDFS快照为只读状态，只能通过复制快照数据完成恢复操作
• 建议定期备份Hive表DDL，防止原表删除后无法重建结构

内容的提问来源于stack exchange，提问作者khaled