连接含datetime列的Pandas DataFrame时触发ValueError求助

问题原因 #

尽管两张表的Date列均为datetime64[ns]类型，但pd.DataFrame.join()方法的设计初衷是基于索引进行连接。当你指定on=["Date"]参数时，pandas内部处理逻辑会误判非索引列的类型，导致抛出类型不匹配的错误——这是join方法在处理非索引列连接时的已知逻辑缺陷。

解决方案 #

推荐两种可行的修复方式：

方式1：改用pd.merge()（更适合列与列的连接）

merge方法专门用于列级别的连接操作，能正确识别相同数据类型的连接键，是处理外连接的标准方式：

import pandas as pd

def main():
    data_1 = [["May-2024", 10, 5], ["June-2024", 3, 5], ["April-2015", 1, 3]]
    df1 = pd.DataFrame(data_1, columns = ["Date", "A", "B"])
    df1["Date"] = pd.to_datetime(df1["Date"], format="%B-%Y")

    data_2 = [["01-11-2024", 10, 5], ["01-06-2024", 3, 5], ["01-11-2015", 1, 3]]
    df2 = pd.DataFrame(data_2, columns = ["Date", "C", "D"])
    df2["Date"] = pd.to_datetime(df2["Date"], format="%d-%m-%Y")

    # 使用merge执行外连接，指定Date为连接键
    merged = pd.merge(df1, df2, how="outer", on="Date")
    print(merged)

if __name__ == "__main__":
    main()

方式2：将Date列设为索引后使用join

如果坚持使用join，需先将两张表的Date列设置为索引，符合join基于索引连接的设计逻辑：

import pandas as pd

def main():
    data_1 = [["May-2024", 10, 5], ["June-2024", 3, 5], ["April-2015", 1, 3]]
    df1 = pd.DataFrame(data_1, columns = ["Date", "A", "B"])
    df1["Date"] = pd.to_datetime(df1["Date"], format="%B-%Y")
    df1 = df1.set_index("Date")  # 设置Date为索引

    data_2 = [["01-11-2024", 10, 5], ["01-06-2024", 3, 5], ["01-11-2015", 1, 3]]
    df2 = pd.DataFrame(data_2, columns = ["Date", "C", "D"])
    df2["Date"] = pd.to_datetime(df2["Date"], format="%d-%m-%Y")
    df2 = df2.set_index("Date")  # 设置Date为索引

    # 基于索引执行外连接
    merged = df1.join(df2, how="outer")
    print(merged)

if __name__ == "__main__":
    main()

验证结果 #

两种方式都能正确保留两张表的所有日期，空缺值自动用NaN填充，且不会触发类型错误。

内容的提问来源于stack exchange，提问作者phoney_badger