如何将EFS同步至本地存储（EBS）？多实例读写分离场景方案咨询

针对你每30分钟写入EFS、多实例需本地EBS读取的场景，以下是几种实用的同步方案：

1. rsync + 定时任务（Cron） #

这是最轻量化、低成本的方案，适合大多数场景：

• 操作步骤：
  1. 每个EC2实例默认已预装rsync，无需额外安装（部分极简发行版可通过包管理器安装）。
  2. 编写同步脚本efs_sync.sh：

     #!/bin/bash
     EFS_MOUNT="/mnt/efs/parquet_data"
     EBS_MOUNT="/mnt/ebs/parquet_data"
     # 增量同步，排除写入中的临时文件（假设用.tmp后缀），同步完成后清理本地冗余文件
     rsync -av --exclude='*.tmp' --delete-after "$EFS_MOUNT/" "$EBS_MOUNT/"
     # 记录同步日志，便于排查问题
     echo "$(date): Sync completed successfully" >> /var/log/efs_sync.log
     

  3. 给脚本添加执行权限：chmod +x /path/to/efs_sync.sh。
  4. 配置Cron定时任务，每30分钟执行一次（可在写入完成后延迟5分钟执行，避免同步未完成的文件）：

     crontab -e
     # 添加定时规则，每30分钟执行同步
     */30 * * * * /path/to/efs_sync.sh
     

• 优缺点：
  • 优点：无额外AWS服务成本，配置简单，增量同步节省带宽和时间。
  • 缺点：需自行维护脚本和监控逻辑，同步失败时需手动添加重试机制。

2. AWS DataSync 托管同步服务 #

如果需要高可靠性、免运维的同步方案，可使用AWS DataSync：

• 操作步骤：
  1. 在AWS控制台创建DataSync任务，源选择你的EFS文件系统。
  2. 目标配置为EC2实例的EBS挂载目录：部署DataSync代理EC2实例（推荐t3.micro），代理会连接到EC2的EBS挂载点。
  3. 设置任务触发方式为定时触发（每30分钟执行一次），或事件触发（比如监听SNS消息，在EFS写入完成后立即同步）。
  4. 开启CloudWatch日志，追踪同步状态和异常。
• 优缺点：
  • 优点：托管服务自动处理重试、错误恢复，支持带宽控制，适合大规模数据同步。
  • 缺点：存在服务使用成本，代理EC2需占用少量资源，配置复杂度略高。

3. inotify-tools 实时同步 #

如果需要更低的数据延迟（无需等待30分钟定时窗口），可结合inotify-tools监控EFS写入事件，实时同步新文件：

• 操作步骤：
  1. 在EC2实例上安装inotify-tools：

     # RHEL/CentOS
     sudo yum install inotify-tools -y
     # Ubuntu/Debian
     sudo apt install inotify-tools -y
     

  2. 编写实时监控脚本：

     #!/bin/bash
     EFS_MOUNT="/mnt/efs/parquet_data"
     EBS_MOUNT="/mnt/ebs/parquet_data"
     # 监控EFS目录下的文件重命名事件（对应写入完成后的最终文件）
     inotifywait -m -e moved_to "$EFS_MOUNT" | while read dir action file; do
         # 仅同步Parquet格式文件
         if [[ "$file" == *.parquet ]]; then
             rsync -av "$dir/$file" "$EBS_MOUNT/"
             echo "$(date): Synced file $file" >> /var/log/efs_sync_real_time.log
         fi
     done
     

  3. 将脚本配置为systemd服务，确保实例重启后自动运行：

     sudo tee /etc/systemd/system/efs-sync.service <<EOF
     [Unit]
     Description=EFS to EBS Real-time Sync
     After=network.target
     
     [Service]
     ExecStart=/path/to/your/real_time_sync.sh
     Restart=always
     User=root
     
     [Install]
     WantedBy=multi-user.target
     EOF
     # 启动并启用服务
     sudo systemctl daemon-reload
     sudo systemctl start efs-sync
     sudo systemctl enable efs-sync
     

• 优缺点：
  • 优点：近乎实时同步，读取操作能快速获取最新数据。
  • 缺点：需处理并发写入的监控逻辑，脚本复杂度较高，多实例同时监控可能增加EFS负载。

关键最佳实践 #

• 保证文件一致性：写入EFS时采用「临时文件→重命名」流程（比如先写data.tmp，完成后mv data.tmp data_20240520.parquet），避免同步未完成的文件。
• 分散同步负载：多实例的定时同步任务错开执行时间（比如实例A在0分执行，实例B在5分执行），避免同时访问EFS导致性能下降。
• 监控同步状态：通过CloudWatch或自定义脚本监控同步日志，设置告警（比如同步失败超过3次时触发邮件通知）。
• 分区优化：如果Parquet文件按时间分区，同步时仅同步新增分区目录，减少同步数据量。

内容的提问来源于stack exchange，提问作者Swastik