Azure Data Factory复制MySQL数据报08S01通信错误问题咨询

该错误核心是ODBC驱动与MySQL服务端的通信连接被异常中断，手动执行查询正常但管道运行失败，根因可归为三类，按出现概率从高到低排列：

• 服务端主动断连
  手动查询通常数据量小、执行时长短，不会触发MySQL的连接阈值限制。ADF复制活动拉取全量/大批量数据时：
  • 单连接持有时间超过MySQL配置的wait_timeout、interactive_timeout参数阈值（默认值通常为8小时，大量运维场景会调整为10分钟甚至更短），服务端会主动回收超时连接
  • 复制活动并行度设置过高，占用连接数超过MySQLmax_connections上限，已有连接会被服务端强制kill
  • 单查询返回结果集过大，超过MySQL单连接内存限制，服务端主动中断查询
    这类问题直接查MySQL错误日志，报错时间点附近一定会有Aborted connection开头的日志，明确标注断连原因。
• 网络链路拦截
  1. 自建MySQL场景下使用自托管集成运行时（SHIR）连接时，SHIR主机到MySQL之间的防火墙、安全组、WAF设备如果开启了TCP长连接空闲检测，超时阈值设置过短（比如小于5分钟），大结果集传输过程中出现的连接空闲间隙会被中间设备直接切断连接
  2. 使用Azure MySQL PaaS实例时，如果没有放通ADF集成运行时所在区域的IP段、或者没开启「允许Azure服务访问」开关，短连接的连通性校验可以通过，大流量数据传输阶段会被VNet网络策略拦截
• 驱动/配置兼容问题
  ADF内置的MySQL ODBC驱动（MySQLODBC_sb64.dll）默认配置没有开启保活、自动重连，传输大结果集时如果出现短暂网络抖动就会直接抛错；部分8.0版本ODBC驱动和5.7及以下版本MySQL服务端的协议适配存在兼容问题，小查询能正常执行，大结果集分包传输时会出现协议解析失败触发断连。

• 先在ADF MySQL链接服务的附加连接字符串参数里追加以下配置，解决驱动兼容和基础超时问题：

  connectTimeout=300;socketTimeout=600;autoReconnect=true;OPTION=3;charset=utf8mb4
  

• 调整复制活动源端配置：将并行复制度临时调到1，单批次拉取行数设置为10000，验证是否能正常运行，再逐步上调参数到合理值
• 自建MySQL场景同步检查SHIR到数据库的网络策略，把TCP长连接空闲超时调整到30分钟以上；PaaS MySQL场景检查IP白名单和VNet配置，确保数据传输链路放通
• 若以上调整后仍报错，直接排查MySQL服务端错误日志定位具体断连原因即可。

内容的提问来源于stack exchange，提问作者kucluk