满足条件时用另一DataFrame的值更新DataFrame值的实现方法

首先需要明确两个DataFrame的匹配规则（示例中df1和df2行数不一致，默认存在两种常见匹配场景），以下给出适配10万行数据的高效实现方案：

步骤1：转换日期列类型 #

先将所有日期字符串转为datetime类型，否则无法进行大小比较：

import pandas as pd
import numpy as np

# 构造示例DataFrame
df1 = pd.DataFrame({"date": ['2020-12-23 18:20:37', '2021-08-20 12:17:41.487'], "result": [ 'pass', 'fail']})
df2 = pd.DataFrame({"start_date": ['2021-08-19 12:17:41.487','2021-08-12 12:17:41.487', '2021-08-26 12:17:41.487'],
                    "end_date": ['2021-08-26 12:17:41.487', '2021-08-19 12:17:41.487', '2021-09-02 12:17:41.487']})

# 转换日期类型
df1['date'] = pd.to_datetime(df1['date'])
df2['start_date'] = pd.to_datetime(df2['start_date'])
df2['end_date'] = pd.to_datetime(df2['end_date'])

场景1：df1与df2通过关联键一对一匹配 #

如果两个DataFrame存在共同关联键（比如id），可以先合并再做条件替换：

# 假设存在关联键id，示例添加id列
df1['id'] = [1, 2]
df2['id'] = [1, 2, 3]

# 按关联键左合并
merged_df = df1.merge(df2, on='id', how='left')

# 条件替换：当df1.date <= df2.end_date时，替换为df2.start_date
merged_df['date'] = np.where(merged_df['date'] <= merged_df['end_date'], merged_df['start_date'], merged_df['date'])

# 还原原df1结构
df1 = merged_df[['date', 'result']]

该方式时间复杂度为O(n)，适合大规模数据处理。

场景2：无关联键，为df1每个date匹配df2中符合条件的start_date #

如果没有关联键，这里以匹配df2中end_date >= df1.date的最近记录为例，用merge_asof实现高效匹配：

# 先对df2按end_date排序
df2_sorted = df2.sort_values('end_date')

# 按最近的end_date >= df1.date进行匹配
merged = pd.merge_asof(df1.sort_values('date'), df2_sorted, left_on='date', right_on='end_date', direction='forward')

# 条件替换
merged['date'] = np.where(merged['date'] <= merged['end_date'], merged['start_date'], merged['date'])

# 还原df1原顺序
df1 = merged.sort_index()[['date', 'result']]

merge_asof时间复杂度为O(n log n)，处理10万行数据效率很高。如果需要匹配所有符合条件的记录，可结合区间索引进一步调整逻辑。

注意事项 #

• 若df2存在多条满足条件的记录，需明确替换规则（比如取最早/最晚的start_date）后调整匹配逻辑。
• 绝对避免使用笛卡尔积合并（如df1.assign(key=1).merge(df2.assign(key=1), on='key')），会导致内存爆炸。

内容的提问来源于stack exchange，提问作者Deep