Azure Data Factory多管道令牌冲突：同步机制咨询

针对你遇到的多管道同时刷新3-legged OAuth令牌导致的invalid_grant错误，ADF虽然没有像代码中那样的原生同步变量机制，但可以通过以下几种方案解决：

1. 统一令牌刷新逻辑，避免重复触发 #

• 设置授权管道为单实例运行：打开你的独立授权管道，进入管道设置界面，启用「单实例」模式。这样同一时间只会有一个授权管道实例在执行，彻底避免多个管道同时刷新令牌导致的冲突。
• 减少令牌刷新频率：不要在Until循环的每次迭代都调用授权管道。改为在管道启动时获取一次令牌，同时计算令牌的过期时间（比如基于令牌的expires_in字段，用@addSeconds(utcNow(), int(outputs('Get_Token').expires_in) - 300)预留5分钟缓冲），将令牌和过期时间存入管道变量。在每次循环前通过If Condition判断当前时间是否已接近过期，只有快过期时才重新调用授权管道更新令牌。

2. 基于外部存储实现令牌刷新锁 #

可以借助Azure SQL或Storage Account实现一个简单的锁机制，控制同一时间只有一个管道能刷新令牌：

• 在SQL中创建一张令牌状态表，包含is_refreshing（bit类型）、last_refresh_time字段；
• 管道需要刷新令牌时，先用Lookup activity查询is_refreshing的值：
  • 如果值为0，调用Stored Procedure activity将其设为1，然后执行令牌刷新，完成后再将is_refreshing设为0；
  • 如果值为1，调用Wait activity等待一段时间（比如30秒）后重试，直到锁释放。

3. 调整管道运行策略 #

• 错开管道触发时间：如果业务允许，将两个数据加载管道的触发时间设置为非重叠时段，避免同时运行；
• 合并管道逻辑：把两个数据加载任务合并到同一个管道中，用Parallel activity同时处理abc-endPoint和xyz-endPoint的分页请求。这样整个管道共享一套令牌，不会出现跨管道的令牌冲突。

错误示例回顾 #

你遇到的错误信息：

Operation on target Get Refresh token failed: {"error":"invalid_grant","error_description":"The refresh token is invalid or expired."}

本质是3-legged OAuth的refresh token刷新后旧令牌会立即失效，当两个管道同时刷新时，后刷新的操作会 invalidate 前一个管道刚获取的refresh token，导致后续请求失败。

内容的提问来源于stack exchange，提问作者Dmitriy Ryabin