pandas.DataFrame.astype转int报错及DataFrame合并列类型不匹配问题求解

报错根因 #

待合并的两个DataFrame使用共有列loc作为合并键，两表loc列类型不一致：其中一表loc为整数类型，另一表loc为字符串类型，且字符串值包含制表符前缀\t和非数字字符，直接调用astype(int)做强制类型转换时无法解析非纯数字内容，触发ValueError。

一、根因解决方法 #

统一合并键的类型与格式，从根源解决匹配问题：

• 先将两个表的loc列统一转换为字符串类型
• 清洗字符串格式的loc列，去除前后不可见空白字符（包括制表符、空格等）
• 再执行合并操作

对应代码：

# 统一合并键的类型和格式
sf_df['loc'] = sf_df['loc'].astype(str).str.strip()
db_df['loc'] = db_df['loc'].astype(str).str.strip()

# 执行原合并逻辑
sf_df = sf_df.merge(db_df, how='outer', indicator=True).loc[lambda x: x['_merge'] == 'left_only']

该方案处理后，两表合并键的类型、格式完全对齐，不会出现类型不匹配问题，也不会因为不可见字符导致逻辑上相等的值匹配失败。

二、临时Workaround方案 #

如果不需要修改原始DataFrame的列数据，可使用以下临时方案完成合并：

方案1：新增临时合并列完成匹配，不改动原数据 #

通过assign方法生成临时清洗后的合并键，合并完成后删除临时列即可：

sf_df = sf_df.assign(tmp_loc=sf_df['loc'].astype(str).str.strip())\
         .merge(
             db_df.assign(tmp_loc=db_df['loc'].astype(str).str.strip()),
             how='outer',
             on='tmp_loc',
             indicator=True
         )\
         .loc[lambda x: x['_merge'] == 'left_only']\
         .drop('tmp_loc', axis=1)

方案2：过滤异常行后执行转换 #

如果确认不需要匹配带特殊字符的loc行，可先过滤掉无法转为整数的行，再执行类型转换与合并：

# 仅保留loc值为纯数字的行，丢弃异常行
sf_df = sf_df[sf_df['loc'].astype(str).str.strip().str.match(r'^\d+$')].copy()
# 转换为整数类型
sf_df['loc'] = sf_df['loc'].astype(str).str.strip().astype(int)
# 执行原合并逻辑
sf_df = sf_df.merge(db_df, how='outer', indicator=True).loc[lambda x: x['_merge'] == 'left_only']

内容的提问来源于stack exchange，提问作者Gautham Kolluru