MYSQL跨实例定时数据传输免费工具及实现方案咨询

实现前先明确同步范围：是全库全量同步、指定库/表同步，还是仅同步周期内的增量变更，不同数据规模、同步粒度对应不同的实现方案，所有方案都不需要付费即可落地。

原生方案（无需安装额外工具，依靠系统、MySQL自带组件实现） #

• mysqldump + 系统定时任务（适合数据量<10G、全量同步场景）
  1. 提前打通两个实例的网络连通性，给实例1创建仅拥有待同步库表读权限的账号，给实例2创建对应目标库写权限的账号，提前在实例2创建好和实例1结构一致的目标库。
  2. 编写同步脚本，Linux环境写shell脚本，Windows环境写bat脚本，核心逻辑是通过mysqldump从实例1导出数据，直接管道导入实例2，避免中间文件占用磁盘。参考脚本如下：

  #!/bin/bash
  LOG_FILE="/var/log/mysql_daily_sync.log"
  # 源实例(实例1)连接配置
  SRC_HOST="实例1的IP地址"
  SRC_PORT=3306
  SRC_USER="同步专用读账号"
  SRC_PWD="对应账号密码"
  SRC_DB="待同步的源库名"
  # 目标实例(实例2)连接配置
  DST_HOST="实例2的IP地址"
  DST_PORT=3306
  DST_USER="同步专用写账号"
  DST_PWD="对应账号密码"
  DST_DB="目标库名"
  
  echo "[$(date '+%Y-%m-%d %H:%M:%S')] 启动每日同步任务" >> $LOG_FILE
  # --single-transaction参数避免导出时锁源库表，适合InnoDB引擎
  mysqldump -h$SRC_HOST -P$SRC_PORT -u$SRC_USER -p$SRC_PWD --single-transaction --set-gtid-purged=OFF $SRC_DB | mysql -h$DST_HOST -P$DST_PORT -u$DST_USER -p$DST_PWD $DST_DB
  
  if [ $? -eq 0 ]; then
      echo "[$(date '+%Y-%m-%d %H:%M:%S')] 同步完成" >> $LOG_FILE
  else
      echo "[$(date '+%Y-%m-%d %H:%M:%S')] 同步异常，请检查网络、权限或磁盘空间" >> $LOG_FILE
  fi
  

  如果担心明文写密码有安全风险，可以把账号密码配置到MySQL客户端的my.cnf配置文件中，脚本里省略-p参数即可。
  3. 给脚本添加可执行权限后配置定时调度：Linux环境执行crontab -e添加规则0 9 * * * /path/to/your/sync.sh即可实现每天上午9点自动执行；Windows环境在「任务计划程序」中新建任务，设置触发周期为每日9点，操作选择你编写的bat脚本即可。
• MySQL原生主从复制（适合数据量大、增量同步场景）
  利用MySQL自带的binlog复制能力，把实例1配置为主库、实例2配置为从库，默认是实时同步，如果只需要固定周期同步（比如每日9点同步前一天的变更），可以额外配置定时任务，每天9点执行START SLAVE启动复制，等同步追平后执行STOP SLAVE暂停复制即可，不需要每次全量导出导入，同步效率高，对源库性能影响小。配置时注意两个实例的server-id不能重复，源库要开启ROW格式的binlog。

免费工具方案（可视化配置，无需手写脚本） #

• DataX：开源免费的离线数据同步工具，支持MySQL到MySQL的全量、增量同步，内置字段映射、脏数据过滤、流量控制能力，自带调度配置入口，可以直接设置每日/每周固定时间执行同步任务，适合中等数据规模、不想手写脚本的场景。
• Canal：开源免费的增量同步工具，原理是模拟MySQL从库拉取解析源库binlog，支持自定义同步周期和同步规则，适合大数据量、只需要同步增量变更的场景，配置门槛比DataX稍高。
• DBeaver/MySQL Workbench：两款都是免费的通用数据库管理工具，自带数据迁移向导，可以提前配置好同步规则保存为任务，配合系统定时任务调用工具的命令行执行保存的任务，就能实现定时同步，适合平时已经在用这两个工具管理数据库的用户，学习成本最低。

注意事项

1. 首次配置同步前，一定要对两个实例做全量数据备份，避免配置错误导致数据覆盖、丢失。
2. 如果两个实例跨公网传输，一定要限制同步账号的访问来源IP，不要把数据库端口直接暴露在公网，避免安全风险。
3. 单库数据量超过50G的场景，不建议每日用mysqldump做全量同步，优先选择增量同步方案，减少同步耗时和对业务库的性能影响。

内容的提问来源于stack exchange，提问作者Pydi Raju