Azure Data Factory数据流：如何过滤近24小时修改的位置数据？

原表达式存在的问题 #

你的表达式有两个关键问题，会导致过滤结果不符合预期：

1. 时间格式解析错误：源数据中LocationUpdated的时间是24小时制（比如08:59:55），但你用了hh（12小时制格式符），这会导致下午的时间（如14:30:00）被错误解析为凌晨2点，进而过滤掉本该包含的有效数据。
2. 时间范围计算偏差：currentDate()返回的是当前日期的零点（如2024-06-01 00:00:00），subDays(currentDate(),1)得到的是前一天的零点，这会把“近24小时”变成“前一天零点至今”，比如现在是6月1日14:00，会包含5月31日00:00到14:00的所有数据，而不是精确的5月31日14:00至今的24小时范围。

修正后的可行表达式 #

将格式符改为HH（24小时制），并使用currentTimestamp()获取当前完整时间，再减去24小时，这样能精确匹配近24小时内更新的数据：

subtractHours(currentTimestamp(), 24) <= toDate(LocationUpdated, 'yyyy-MM-dd HH:mm:ss') && LocationActive=='true' && LocationReservable=='true' && LocationUpdated != null

额外优化建议 #

• 增加LocationUpdated != null判断，避免因字段为空导致的解析失败。
• 如果数据源支持，优先在源端（比如Data Lake文件的筛选逻辑、结构化存储的查询语句）做过滤，减少Data Factory的数据处理量，提升任务执行效率。

内容的提问来源于stack exchange，提问作者Ryan Ranks