如何在Azure Data Factory数据预览中按数据筛选指定时段行数据?
在Azure Data Factory数据流预览中筛选特定时段数据的方法
方法1:直接在数据源配置中添加筛选条件
这是最直接的方式,能让预览只加载符合条件的数据集:
- 打开数据流的源数据集配置面板,切换到源选项标签页
- 在筛选行区域,点击添加条件,基于你的时间列(比如
TimeStamp)设置筛选规则,比如要最近4周的数据,可以写:
(如果按天数计算,也可以用TimeStamp >= addWeeks(currentTimestamp(), -4)TimeStamp >= addDays(currentTimestamp(), -28)) - 保存配置后刷新数据预览,就能看到符合时段的最新数据
方法2:临时添加筛选转换(不影响正式数据流)
如果不想修改源的默认配置,可临时加一个筛选转换来限定预览范围:
- 在数据流画布中,在源节点后添加一个筛选转换
- 在筛选转换的条件编辑器中,输入时间筛选逻辑,比如:
TimeStamp >= addWeeks(currentTimestamp(), -4) - 点击筛选转换的数据预览标签,就能看到最近几周的数据;正式运行管道前可删除这个临时筛选,不影响原有逻辑
关于预览与实际数据流数据不一致的说明
ADF数据流的数据预览默认从全量数据中随机抽取样本(默认100行),因此会出现和实际数据流读取全量数据时时间范围不一致的情况。通过上述两种方法限定筛选条件后,预览会只加载符合条件的样本,和实际数据流读取的最新数据范围匹配。
内容的提问来源于stack exchange,提问作者Herwini
相关产品推荐
相关产品推荐

