Pandas中匹配Latin1与UTF-8编码特殊字符关联DataFrame

之前的修复方案失效，核心是混淆了两个高度相似的单字节编码：

• 标准Latin-1（ISO-8859-1）编码的0x80位置是未分配的控制字符，不存在欧元符号€
• Windows平台常用的cp1252（Windows-1252）编码才将0x80位置映射为欧元符号€，很多老旧专有库会错误将cp1252标注为Latin-1，这是问题的核心来源。
  你当前拿到的Column\x80本质是：原文件中的€以cp1252编码存储为单字节0x80，被专有库按Latin-1规则直接映射为Unicode控制字符U+0080，最终显示为乱码。

直接对dataFrame1的乱码字段做编码回转即可，不需要修改两个库的底层读取逻辑：

1. 编写转换函数，利用Latin-1单字节一一映射的特性，先把错读的字符串还原为原始字节，再用正确的cp1252编码解码为正常字符串：

def fix_encoding(s):
    # 还原为库读取时拿到的原始字节流，Latin-1映射无信息损失
    raw_byte = s.encode('latin-1')
    # 按cp1252解码得到正确Unicode字符
    return raw_byte.decode('cp1252')

2. 将函数应用到dataFrame1的关联字段上：

dataFrame1['join_key'] = dataFrame1['join_key'].apply(fix_encoding)

转换完成后，原乱码值Column\x80会被修正为Column€，和dataFrame2中UTF-8读取的同名字段值完全一致，可直接用于关联、拼接操作。

• 直接执行x.encode('utf-8')：字符串中的U+0080属于不可打印控制字符，UTF-8编码时会直接替换为?，无法得到正确字符
• 执行x.decode('latin1').encode('utf-8')：Python3中字符串默认是Unicode类型，不存在decode方法；即便调整为先encode('latin1')再decode('latin1')，也只是做了无意义的恒等转换，0x80依旧映射为控制字符，不会转为欧元符号。

可以直接在Python交互环境运行以下代码验证逻辑：

wrong_val = 'Column\x80'
fixed_val = wrong_val.encode('latin-1').decode('cp1252')
print(fixed_val) # 输出：Column€
print(fixed_val == "Column€") # 输出：True

内容的提问来源于stack exchange，提问作者Zhiroslav