如何基于Datetime Index从两个DataFrame取值填充至更大的DataFrame？

原代码的核心问题：

• 错误地用长度差计算填充行数，忽略了Datetime索引的非连续性或日期错位，导致填充的数值和大DF的索引无法对齐，合并后出现空值。
• 手动构造列表赋值的方式完全绕开了Pandas的索引对齐机制，是导致空值的直接原因。
• 分开调用copy_up和copy_down再concat属于重复操作，且逻辑冗余。

正确实现思路 #

直接基于Pandas的索引对齐功能，对小DataFrame的列进行重新索引，再用首行值填充前期空值、末行值填充后期空值，最后合并到大DataFrame中。

完整代码实现 #

def merge_and_fill_dfs(df1, df2):
    # 检查重复列
    common_cols = set(df1.columns) & set(df2.columns)
    if common_cols:
        print(f"发现重复列: {common_cols}")
        return None
    
    # 确定大、小DataFrame
    if len(df1) >= len(df2):
        big_df = df1.copy()
        small_df = df2.copy()
    else:
        big_df = df2.copy()
        small_df = df1.copy()
    
    # 获取小DF的首尾日期和对应值
    small_start = small_df.index[0]
    small_end = small_df.index[-1]
    first_row_vals = small_df.iloc[0]
    last_row_vals = small_df.iloc[-1]
    
    # 遍历小DF的列，填充到大DF中
    for col in small_df.columns:
        # 将小DF的列对齐到大DF的索引，生成带空值的Series
        aligned_series = small_df[col].reindex(big_df.index)
        
        # 填充前期（早于小DF起始日期）的空值为该列首值
        aligned_series.loc[big_df.index < small_start] = first_row_vals[col]
        # 填充后期（晚于小DF结束日期）的空值为该列末值
        aligned_series.loc[big_df.index > small_end] = last_row_vals[col]
        
        # 将处理后的列加入大DF
        big_df[col] = aligned_series
    
    return big_df

使用示例 #

# 假设有两个Datetime索引的DF
import pandas as pd
import numpy as np

dates1 = pd.date_range('2023-01-01', periods=10)
df1 = pd.DataFrame({'A': np.random.randn(10)}, index=dates1)

dates2 = pd.date_range('2023-01-03', periods=7)
df2 = pd.DataFrame({'B': np.random.randn(7)}, index=dates2)

# 合并并填充
result_df = merge_and_fill_dfs(df1, df2)
print(result_df)

代码说明 #

1. 重复列检查：先确认两个DF无重复列，避免冲突。
2. 索引对齐：用reindex将小DF的列匹配到大DF的索引，自动生成对应位置的空值。
3. 定向填充：通过索引比较，精准填充前期（早于小DF起始）和后期（晚于小DF结束）的空值，完全符合需求。
4. 避免冗余：一步完成合并与填充，无需额外concat操作，彻底解决空值问题。

内容的提问来源于stack exchange，提问作者Josue