如何通过EMR命令行备份Amazon S3表并获取原表DDL

一、解决DDL获取问题 #

方法1：EMR集群上用Spark SQL直接获取（推荐） #

在EMR主节点执行以下命令，可直接得到和Athena SHOW CREATE TABLE一致的DDL语句：

spark-sql -e "SHOW CREATE TABLE database.table;"

该命令利用EMR与Glue数据目录的集成，直接读取元数据生成标准DDL，无需手动解析结构。

方法2：AWS CLI + jq解析Glue元数据生成DDL #

若不想启动Spark，可通过AWS CLI获取表的JSON结构，再用jq拼接DDL（适合简单表结构）：

aws glue get-table --database-name database --name table | jq -r '
"CREATE EXTERNAL TABLE `\(.Table.DatabaseName)`.\(.Table.Name) (" +
(.Table.StorageDescriptor.Columns | map("`\(.Name)` \(.Type)") | join(", ")) +
") " +
"ROW FORMAT SERDE '\''\(.Table.StorageDescriptor.SerdeInfo.SerializationLibrary)'\'' " +
"STORED AS INPUTFORMAT '\''\(.Table.StorageDescriptor.InputFormat)'\'' " +
"OUTPUTFORMAT '\''\(.Table.StorageDescriptor.OutputFormat)'\'' " +
"LOCATION '\''\(.Table.StorageDescriptor.Location)'\'' " +
(if .Table.Parameters then "TBLPROPERTIES (" + (.Table.Parameters | to_entries | map("\(.key)='\''\(.value)'\''") | join(", ")) + ")" else "" end)
'

注：需提前安装jq工具，复杂类型（如结构体、数组）的表结构可能需要额外调整拼接逻辑。

二、完整备份脚本（整合所有需求） #

基于你现有脚本，新增DDL处理、备份表创建、行数校验逻辑，采用Spark SQL方案实现：

backup_table() {
    local db=$1
    local table=$2
    local backup_suffix="_bkp"
    
    # 1. 复制S3数据到备份位置
    local s3_location=$(aws glue get-table --database-name $db --name $table --query "Table.StorageDescriptor.Location" --output text)
    local backup_s3_location="${s3_location}${backup_suffix}"
    echo "正在复制数据：$s3_location -> $backup_s3_location"
    aws s3 cp --recursive "$s3_location" "$backup_s3_location"
    
    # 2. 生成并执行备份表DDL
    local backup_table="${table}${backup_suffix}"
    echo "正在创建备份表：$db.$backup_table"
    # 获取原表DDL并替换存储位置和表名
    local create_ddl=$(spark-sql -e "SHOW CREATE TABLE $db.$table;" | sed "s|LOCATION '\''${s3_location}'\''|LOCATION '\''${backup_s3_location}'\''|")
    create_ddl=$(echo "$create_ddl" | sed "s|CREATE EXTERNAL TABLE `$db`.`$table`|CREATE EXTERNAL TABLE `$db`.`$backup_table`|")
    # 执行DDL创建备份表
    spark-sql -e "$create_ddl"
    echo "备份表创建完成"
    
    # 3. 校验主表与备份表行数
    echo "开始行数校验..."
    local primary_count=$(spark-sql -e "SELECT COUNT(*) FROM $db.$table;" | tail -n1)
    local backup_count=$(spark-sql -e "SELECT COUNT(*) FROM $db.$backup_table;" | tail -n1)
    
    if [ "$primary_count" -eq "$backup_count" ]; then
        echo "校验通过：主表 $primary_count 行，备份表 $backup_count 行"
    else
        echo "校验失败：主表 $primary_count 行，备份表 $backup_count 行"
        exit 1
    fi
}

# 调用示例
backup_table "your_database" "your_table"

三、关键说明 #

• 数据复制：保留原有aws s3 cp逻辑，自动递归复制所有S3对象（含分区表的分区数据）。
• 元数据复用：通过替换原表DDL中的表名和存储位置，确保备份表的结构、序列化方式、属性与原表完全一致。
• 行数校验：利用Spark SQL直接查询主表和备份表的行数，对比结果确保数据完整性。

注意事项 #

1. EMR主节点需具备Glue数据目录的访问权限（默认EMR角色已包含，自定义角色需添加glue:GetTable权限）。
2. 确保EMR集群上Spark服务正常运行，若未启动可执行sudo systemctl start spark（依EMR版本调整）。
3. 分区表无需额外处理分区元数据，DDL会自动继承原表的分区配置。

内容的提问来源于stack exchange，提问作者Python_newbie