如何让全NaN列识别为string类型，实现Pandas DataFrame合并

场景说明 #

• 从CSV读取DataFrame时，Pandas自动推断数据类型
• 多数用于连接的列会被推断为object（字符串）类型，merge可正常执行
• 当某一连接列仅包含NaN时，会被错误推断为float64类型，导致与object列合并时报错
• 需求：实现NaN与NaN的合并，同时保留非NaN值为字符串类型，避免astype(str)将NaN转为"nan"的问题

复现代码 #

import pandas as pd
import numpy as np

a = [['a', '1.2', np.NaN], ['b', '70', 'abc'], [np.NaN, '5', 'def']]
b = [[np.NaN, 12],['a',13]]
c = [[np.NaN, 12]]

a_df = pd.DataFrame(a, columns=["one","two","three"])
b_df = pd.DataFrame(b, columns=["four","five"])
c_df = pd.DataFrame(c, columns=["four","five"])

print(a_df.dtypes)
# one      object
# two      object
# three    object
# dtype: object

print(b_df.dtypes)
# four    object
# five     int64
# dtype: object

print(c_df.dtypes)
# four    float64
# five      int64
# dtype: object

# 正常合并
result1 = a_df.merge(b_df, how="left", left_on=["one"], right_on=["four"])
print(result1)
#    one  two three four  five
# 0    a  1.2   NaN    a  13.0
# 1    b   70   abc  NaN   NaN
# 2  NaN    5   def  NaN  12.0

# 报错合并
result2 = a_df.merge(c_df, how="left", left_on=["one"], right_on=["four"])
# ValueError: You are trying to merge on object and float64 columns. If you wish to proceed you should use pd.concat

解决方案 #

方法1：读取CSV时指定连接列为string类型 #

如果已知连接列名称，读取CSV时直接通过dtype参数强制指定该列为string类型（Pandas 1.0+支持），从根源避免类型推断错误：

# 读取CSV时指定列类型
df = pd.read_csv("your_file.csv", dtype={"four": "string"})

string类型允许全NaN值，且不会被转为float64，完美匹配需求。

方法2：批量修复全NaN的float64列 #

针对已读取的DataFrame，检查连接列类型，若为float64且全为NaN，则转换为string/object类型：

def fix_merge_column_dtype(df, col_name):
    if df[col_name].dtype == 'float64' and df[col_name].isna().all():
        # 推荐转为string类型（Pandas专用字符串类型）
        df[col_name] = df[col_name].astype("string")
        # 也可转为object类型
        # df[col_name] = df[col_name].astype("object")
    return df

# 修复c_df的four列
c_df = fix_merge_column_dtype(c_df, "four")
# 合并恢复正常
result2 = a_df.merge(c_df, how="left", left_on=["one"], right_on=["four"])

转换后NaN保持原生状态，不会被转为字符串"nan"，可与object列正常合并。

方法3：合并时临时转换列类型 #

无需修改原DataFrame，在merge操作前临时将两个连接列统一为string类型：

result2 = a_df.merge(
    c_df.assign(four=c_df["four"].astype("string")),
    how="left",
    left_on=["one"],
    right_on=["four"]
)

适合单次临时合并场景，不影响原数据结构。

内容的提问来源于stack exchange，提问作者Stephen