Azure Data Factory中CosmosDb托管身份连接出现408超时错误

问题背景 #

将Azure Data Factory（ADF）中CosmosDB的连接方式从连接字符串切换为托管身份认证（已为托管身份分配Cosmos DB内置Data Reader角色）后，管道运行初期大量活动同时访问CosmosDB时，部分活动出现408请求超时错误。CosmosDB端无节流、高负载报告，切换回连接字符串方式则一切正常。

错误信息如下：

Operation on target My Activity Name failed: Failure happened on 'Source' side. ErrorCode=UserErrorDataStoreServiceThrottling,'Type=Microsoft.DataTransfer.Common.Shared.DataStoreThrottlingException,Message=Response status code does not indicate success: RequestTimeout (408); Substatus: 0; ActivityId: redacted; Reason: (GatewayStoreClient Request Timeout. Start Time UTC:4/10/2024 7:44:22 PM; Total Duration:36023.7489 Ms; Request Timeout 20000 Ms; Http Client Timeout:65000 Ms; Activity id: 1942511c-0e19-47d7-940d-4b49847c2f8c;);,Source=Microsoft.DataTransfer.ClientLibrary.CosmosDbSqlApiV3,''Type=Microsoft.Azure.Cosmos.CosmosException,Message=Response status code does not indicate success: RequestTimeout (408); Substatus: 0; ActivityId: redacted; Reason: (GatewayStoreClient Request Timeout. Start Time UTC:4/10/2024 7:44:22 PM; Total Duration:36023.7489 Ms; Request Timeout 20000 Ms; Http Client Timeout:65000 Ms; Activity id: redacted;);,Source=Microsoft.Azure.Cosmos.Client,''Type=System.Threading.Tasks.TaskCanceledException,Message=A task was canceled.,Source=mscorlib,'

排查与解决思路 #

1. 调整CosmosDB链接服务的请求超时时间 #

从错误信息可见，请求超时设置为20000ms（20秒），但实际请求耗时达到36秒，超过了阈值。托管身份认证需要额外的Azure AD令牌获取步骤，链路比连接字符串更长，需要更大的超时窗口：

• 打开ADF门户，找到目标CosmosDB链接服务进入编辑页面
• 切换到高级选项卡，找到「请求超时」配置项，将值调整为60000ms（60秒）或更高，匹配错误信息中的HttpClient超时（65000ms）
• 保存链接服务后重新运行管道测试

2. 控制活动并发度，添加重试策略 #

大量活动同时发起请求时，托管身份的令牌获取环节可能出现并发瓶颈：

• 限制管道并发活动数量：如果是ForEach活动，将「并发项数」从默认值调小（比如从10改为5）；如果是独立活动，通过等待活动或批处理分组减少同时发起的请求数
• 给超时活动配置重试规则：在活动的「重试」设置中，添加针对408错误的重试策略，设置重试次数（比如3次）和间隔（比如5秒）

3. 验证托管身份的权限与令牌缓存 #

虽已分配Data Reader角色，仍需确认：

• 角色分配范围是否正确：确保是针对目标CosmosDB数据库/容器级别分配，而非仅资源组级别
• 令牌缓存有效性：ADF托管身份会自动缓存Azure AD令牌，但高并发场景下可能出现缓存未命中，可通过ADF运行日志确认令牌获取是否存在延迟

4. 检查运行时网络与区域配置 #

• 若使用自托管集成运行时，确认运行时服务器到Azure AD和CosmosDB的网络连通性，排除防火墙、代理导致的延迟
• 若使用托管集成运行时，尽量选择与CosmosDB相同的区域部署，跨区域网络延迟会增加并发请求的超时概率

内容的提问来源于stack exchange，提问作者Philip Young