Azure Data Factory偶发三类故障原因排查及规避方案咨询

第二类报错：计算资源分配失败 #

触发原因 #

• 对应区域无服务器Integration Runtime的底层Spark资源池临时不足，高峰时段多任务资源争抢会触发分配失败
• 同时间段多个高算力数据流并行启动，单次申请的计算核心数超出了当前订阅的IR配额限制
• IR底层动态分配的计算节点偶发初始化故障，属于云服务侧的偶发底层异常

优化措施 #

• 调整非紧急报表同步任务的调度时间，避开业务高峰运行，降低资源争抢概率
• 适当调低数据流的运行时核心数配置，避免单次申请过高资源被驳回；如果使用自托管IR可适当扩容节点规格
• 在ADF活动配置中添加2-3次自动重试，重试间隔设置为1-2分钟，无需人工介入二次调度

第三类报错：无法获取列元数据 #

触发原因 #

• 目标SQL数据库运行时负载过高，CPU、IO资源被占满，无法及时响应JDBC驱动的元数据查询请求
• 目标表近期有结构变更，数据库侧的元数据缓存未同步，驱动读取到过期缓存导致校验失败
• ADF到目标数据库的网络链路出现临时波动，元数据请求包丢失或超时

优化措施 #

• 对目标数据库做读写分离，报表数据写入请求指向独立的写入节点，避免和业务查询抢占资源；定期清理目标库过期会话、优化索引降低日常负载
• 在数据流的目标配置中开启显式列映射，提前固定上下游列的对应关系，取消运行时动态查询元数据的逻辑
• 在目标数据库的连接字符串中添加超时参数，延长元数据查询的超时阈值，示例参数：connectTimeout=30000;socketTimeout=60000
• 配置任务自动重试策略，该类临时故障重试成功率接近100%

内容的提问来源于stack exchange，提问作者hlaws