按日期过滤数据集时出现表格数据行丢失问题

日期过滤匹配数据丢失排查方案 #

你配置的日期过滤规则参考：

异常过滤结果参考：

优先排查高频出错点 #

• 检查时间边界匹配逻辑：若日期字段包含时分秒，使用YYYY-MM-DD格式的日期值做等值匹配时，系统会自动将匹配值补全为YYYY-MM-DD 00:00:00，该日期下非零点的所有数据都会被排除；若使用了>/<而非>=/<=定义时间范围，会直接丢失起止日期的所有匹配数据。
• 检查叠加过滤规则：部分数据集会预设全局隐形过滤条件（如权限控制、软删除标记过滤、数据来源分区过滤），和你设置的日期过滤规则叠加后，会排除符合日期但不符合其他隐性规则的数据。
• 检查隐含去重逻辑：若过滤链路中存在预设的分组去重、主键去重规则，同一日期下的多条重复主键数据会被合并为单条，最终返回行数会远少于预期。

快速验证方法 #

1. 选取一个已知存在多条数据的确定日期，单独设置过滤规则仅匹配该日期，将返回的结果和该日期的原始全量数据做对比，确认丢失的数据行是否存在共性（如集中在特定时间段、携带特定业务字段值、归属特定分区）。
2. 随机选取过滤规则执行前的100条全量数据，和过滤后的结果做逐行校验，确认是否存在符合日期要求但未被匹配的条目，定位过滤逻辑的判断偏差。

内容的提问来源于stack exchange，提问作者Gordenbúh