Azure Data Factory每日向SQL Server加载数据异常求助
数据加载管道不稳定问题排查求助
我们的架构:通过Azure Function App部署的代码从API拉取数据,加载至Azure Blob Storage,再通过Azure Data Factory将JSON文件展平后加载至Azure SQL Server数据库。
近期新增了一个从API提取并加载至数据库的列(该列未用于任何关联操作),之后数据管道运行变得极不稳定:
- 每次管道运行均无失败,但每日加载至数据库的行数差异极大:部分天数行数符合预期,部分天数则大幅减少
- 异常发生时的行数通常可被250整除,而250正是我们设置的分区行数
排查情况:
- 多数异常天数下,Blob Storage中的JSON文件数据完整,怀疑问题出在Data Factory的展平组件
- 也存在Blob Storage数据量低于预期的情况,指向API可能存在问题
- 查看日志和Blob原始数据后未找到有效线索
疑问:Azure曾在6月16日报告过一起影响SQL Server和Data Factory的事件(ID: VLB8-1Z0),首次异常发生在次日,之后每2-3天出现一次,且事件报告显示尚未完成所有修复,是否是导致该问题的原因?
另外,由于加载操作偶尔能正常运行,判断问题并非代码层面,而是基础设施层面。原帖已附上两张数据库日志截图。
提前感谢各位的帮助!
内容的提问来源于stack exchange,提问作者jonta_p
相关产品推荐
相关产品推荐

