Pandas中基于掩码筛选日期列时计算受前置操作干扰的问题解决

首先，你遇到的问题根源很明确：你在处理result_received列时直接修改了原始的DataFrame，后续处理sample_received列时，用的已经是被改动过的数据，自然会得到不符合预期的结果。

为什么之前的代码会出问题？ #

你在处理result_received时，反复对sample_received列执行了pd.to_datetime()和dt.date转换——虽然看起来只是处理日期格式，但这些操作直接修改了原df的列数据。当你后续再处理sample_received时，原数据已经不是最初的状态了，计算结果自然会被干扰。

解决方案：用原始数据副本隔离不同操作 #

核心思路是：永远不要直接修改原始DataFrame，所有分析操作都在原始数据的副本上进行，这样不同的统计任务之间就不会互相干扰。同时我们可以简化冗余的日期转换代码，让逻辑更清晰。

第一步：初始化并保留原始数据

先把原始DataFrame单独存起来，后续所有操作都基于它的副本：

import pandas as pd
from pandas import Timestamp

# 初始化原始DataFrame（保留你的原始数据）
df_raw = {
    'Sample': {1: 'XXXXX123456', 2: 'XXXXX12345', 3: 'XXX1234568', 4: 'XXX1234569', 5: 'XXX12345456'},
    'sample_received': {1: Timestamp('2022-08-11 14:24:17'), 2: pd.NaT, 3: Timestamp('2022-08-12 13:17:24'), 4: Timestamp('2022-09-12 13:17:22'), 5: Timestamp('2022-08-13 15:17:35')},
    'result_received': {1: Timestamp('2022-08-18 00:00:00'), 2: Timestamp('2022-08-15 00:00:00'), 3: Timestamp('2022-08-17 00:00:00'), 4: Timestamp('2022-08-13 00:00:00'), 5: Timestamp('2022-08-13 00:00:00')}
}
df_raw = pd.DataFrame(df_raw)

第二步：单独处理result_received列的统计

基于原始数据创建副本，在副本上完成统计，完全不影响原始数据：

# 处理result_received列：统计日期不晚于2022-08-14的行数（包含所有符合条件的行）
df_result = df_raw.copy()
# 确保列是datetime类型（原始数据已经是，这一步可以省略，若有字符串格式则保留）
df_result['result_received'] = pd.to_datetime(df_result['result_received'])

end_date = pd.to_datetime('2022-08-14')
# 生成筛选掩码
mask_result = df_result['result_received'] <= end_date
# 统计符合条件的行数
count_result = mask_result.sum()
# 查看符合条件的行（可选）
print("符合result_received条件的行数：", count_result)
print(df_result.loc[mask_result, ['Sample', 'result_received']])

第三步：单独处理sample_received列的统计

同样基于原始数据的副本操作，完全不受之前操作的影响：

# 处理sample_received列：统计日期不早于2022-08-12的行（包含NaT值）
df_sample = df_raw.copy()
df_sample['sample_received'] = pd.to_datetime(df_sample['sample_received'])

start_date = pd.to_datetime('2022-08-12')
# 注意：NaT在比较中会返回False，所以要显式加入NaT的判断
mask_sample = (df_sample['sample_received'] >= start_date) | df_sample['sample_received'].isna()
# 统计符合条件的行数
count_sample = mask_sample.sum()
# 查看符合条件的行（可选）
print("符合sample_received条件的行数：", count_sample)
print(df_sample.loc[mask_sample, ['Sample', 'sample_received']])

额外优化：简化日期转换逻辑 #

你之前反复执行pd.to_datetime()和dt.date转换是冗余的——如果只需要比较日期部分（忽略时间），可以用dt.normalize()直接把时间部分转为00:00:00，不需要来回转换类型：

# 示例：比较日期部分，忽略时间
mask_sample = (df_sample['sample_received'].dt.normalize() >= start_date.normalize()) | df_sample['sample_received'].isna()

这样处理后，两个统计任务完全独立，再也不会出现前置操作干扰后续计算的问题了。

内容的提问来源于stack exchange，提问作者TimS