You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Azure Data Factory每日向SQL Server加载数据异常求助

数据加载管道不稳定问题排查求助

我们的架构:通过Azure Function App部署的代码从API拉取数据,加载至Azure Blob Storage,再通过Azure Data Factory将JSON文件展平后加载至Azure SQL Server数据库。

近期新增了一个从API提取并加载至数据库的列(该列未用于任何关联操作),之后数据管道运行变得极不稳定:

  • 每次管道运行均无失败,但每日加载至数据库的行数差异极大:部分天数行数符合预期,部分天数则大幅减少
  • 异常发生时的行数通常可被250整除,而250正是我们设置的分区行数

排查情况:

  • 多数异常天数下,Blob Storage中的JSON文件数据完整,怀疑问题出在Data Factory的展平组件
  • 也存在Blob Storage数据量低于预期的情况,指向API可能存在问题
  • 查看日志和Blob原始数据后未找到有效线索

疑问:Azure曾在6月16日报告过一起影响SQL Server和Data Factory的事件(ID: VLB8-1Z0),首次异常发生在次日,之后每2-3天出现一次,且事件报告显示尚未完成所有修复,是否是导致该问题的原因?

另外,由于加载操作偶尔能正常运行,判断问题并非代码层面,而是基础设施层面。原帖已附上两张数据库日志截图。

提前感谢各位的帮助!


内容的提问来源于stack exchange,提问作者jonta_p

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.07.17 01:47:01