基于AWS的MySQL ETL临时数据存储及按需挂载方案技术问询

该方案可以实现整个临时库的一键挂载/卸载，完全符合你的使用需求，不需要修改表结构，操作复杂度最低。

前置部署步骤 #

• 为运行MySQL的EC2实例创建独立EBS卷，同可用区挂载后格式化，挂载到路径 /mnt/mysql_archived_temp，执行命令设置权限：

chown mysql:mysql /mnt/mysql_archived_temp
chmod 700 /mnt/mysql_archived_temp

• 找到MySQL默认数据目录（通常为/var/lib/mysql），在EBS挂载路径下创建和你要使用的临时schema同名的文件夹，再软链到MySQL数据目录：

mkdir /mnt/mysql_archived_temp/etl_temp
ln -s /mnt/mysql_archived_temp/etl_temp /var/lib/mysql/etl_temp
chown -h mysql:mysql /var/lib/mysql/etl_temp

• 正常在MySQL中创建etl_temp schema，后续该schema下所有表的全量数据都会存储在独立EBS卷中，和主库数据完全隔离。

归档卸载步骤 #

当临时数据不需要实时访问时，按以下操作卸载EBS卷留存：

• 开启一个MySQL会话，执行全局读锁，该会话不要关闭，关闭会自动释放锁：

FLUSH TABLES WITH READ LOCK;

• 新开终端停止MySQL服务：

systemctl stop mysqld

• 删除MySQL数据目录下的软链：

rm /var/lib/mysql/etl_temp

• 卸载EBS卷后去AWS控制台执行detach操作即可，长期留存可以转成EBS冷归档存储降低成本。

恢复挂载步骤 #

需要访问归档数据时按以下操作执行：

• 在AWS控制台将归档EBS卷挂载回同架构的EC2实例，挂载到原路径/mnt/mysql_archived_temp
• 重新创建软链并确认权限：

ln -s /mnt/mysql_archived_temp/etl_temp /var/lib/mysql/etl_temp
chown -h mysql:mysql /var/lib/mysql/etl_temp

• 启动MySQL服务即可直接访问etl_temp schema下的所有数据，无额外恢复流程。

如果仅需要归档部分临时表，不需要整库操作，可以使用该方案，不需要停库。

单表归档步骤 #

• 对需要归档的表（示例表为etl_temp.tmp_user_202406）执行导出锁：

FLUSH TABLES etl_temp.tmp_user_202406 FOR EXPORT;

• 进入/var/lib/mysql/etl_temp/路径，将该表对应的.ibd（数据文件）和.cfg（元数据文件）移动到独立EBS卷的归档目录。
• 回到MySQL会话释放锁，删除原表：

UNLOCK TABLES;
DROP TABLE etl_temp.tmp_user_202406;

• 卸载detach EBS卷即可完成归档。

单表恢复步骤 #

• 挂载EBS卷后，先在MySQL中创建一张和原表结构完全一致的空表：

CREATE TABLE etl_temp.tmp_user_202406 (/* 原表字段结构完全一致 */) ENGINE=InnoDB;

• 丢弃空表的默认表空间：

ALTER TABLE etl_temp.tmp_user_202406 DISCARD TABLESPACE;

• 将EBS卷中归档的.ibd和.cfg文件复制回/var/lib/mysql/etl_temp/路径，执行chown mysql:mysql *设置权限。
• 执行表空间导入即可完成恢复：

ALTER TABLE etl_temp.tmp_user_202406 IMPORT TABLESPACE;

• 如果可以调整存储引擎，MyISAM引擎的表数据文件直接复制迁移不需要额外操作，更适合归档场景，但不支持事务和崩溃恢复，仅用于临时数据归档可以考虑。
• 长期留存的EBS卷可以转成SC1冷 HDD卷或者EBS归档卷，成本仅为通用GP3卷的1/10左右。

内容的提问来源于stack exchange，提问作者DatsunBing