ADF映射数据流源预览无法显示Azure SQL新增记录问题
ADF映射数据流源无法实时识别Azure SQL新增记录的原因
- 这个问题和你是否禁用Sampling采样没有关系,根因是映射数据流Debug会话自带的生命周期级缓存机制。Debug集群启动后,第一次读取源数据时会把拉取到的源表全量快照存在集群本地临时存储里,只要这个Debug会话不终止(也就是你不主动关闭、不重启集群),后续所有数据预览、调试跑数默认都会优先读这份本地缓存,不会每次都重新连接Azure SQL查询实时数据。
- 你在数据预览界面点击的「刷新」按钮,只会让现有集群重跑一遍数据流的转换计算逻辑,根本不会清空源数据的本地缓存,自然读不到缓存生成之后你往Azure SQL表里新插入的记录。
- 重启Debug集群之所以能看到新数据,是因为旧集群连带它存储的旧缓存被直接销毁了,新启动的集群没有历史缓存,第一次读源表的时候会重新连接Azure SQL做全量查询,当然就能拉到最新插入的记录。
补充说明:不想每次都重启集群的话,可以在顶部调试设置里手动清空Debug缓存,再刷新预览就能拿到源表最新数据。
内容的提问来源于stack exchange,提问作者wilson_smyth
相关产品推荐
相关产品推荐

