PHP中检测混合编码并统一转换为Windows 1252的方案求助

针对你遇到的混合编码（部分UTF-8字节被误解析为Windows-1252，部分为原生Windows-1252字符）的CSV问题，核心思路是识别出那些被错误解码的UTF-8字符串，先修复为正确的UTF-8，再统一转换为Windows-1252，避免误转原生正确的字符。

解决方案原理 #

那些类似é的乱码，本质是UTF-8编码的重音字符（如é的UTF-8为0xC3 0xA9）被错误当作Windows-1252解码后的结果。我们可以通过反向操作验证：将当前字符串按Windows-1252编码为字节，再尝试用UTF-8解码——如果解码有效且原字符串包含典型乱码特征（如Ã、Å、Ä等），则说明该字符串是需要修复的乱码；否则就是原生正确的Windows-1252字符。

实现代码 #

function fix_mixed_encoding($str) {
    // 尝试将当前字符串（视为Windows-1252）转码为UTF-8
    $converted = mb_convert_encoding($str, 'UTF-8', 'Windows-1252');
    // 验证转换结果是否为有效UTF-8，且原字符串包含乱码特征字符
    if (mb_check_encoding($converted, 'UTF-8') && preg_match('/[\xC3-\xC5]/', $str)) {
        return $converted;
    }
    // 不符合条件则返回原字符串（原生Windows-1252）
    return $str;
}

$csv = array(
    "1956;Mathé Altéry;Le Temps Perdu",
    "1963;Alain Barrière;Elle était si jolie",
    "2024;Gérard truc;Mon éden",
    "2024;GÃ¥te;Ulveham",
    "2023;Gergő Rácz;Zé Szabó",
    "2210;Anna Mjöll;Sjúbídú",
    "2200;Ovidijus Vyšniauskas;Lopšinė mylimai"
);

foreach ($csv as $row) {
    echo "row=$row\n";
    $row_values = explode(';', $row);

    foreach ($row_values as $value) {
        // 先修复编码，再转换为Windows-1252
        $fixed_value = fix_mixed_encoding($value);
        $final_w1252 = mb_convert_encoding($fixed_value, 'Windows-1252', 'UTF-8');
        
        echo sprintf("value=%-30s fixed=%-30s W1252=%-20s\n",
                $value,
                $fixed_value,
                $final_w1252);
    }

    echo "\n";
}

运行效果 #

• 乱码字符串如Mathé Altéry会被修复为Mathé Altéry，再转Windows-1252保持正确
• 原生Windows-1252字符如Gérard truc、Mon éden不会被误转，最终转换后依然正常
• 特殊字符如ő（Windows-1252独有）也能正确保留

关键说明 #

1. mb_check_encoding确保反向转换后的字符串是有效UTF-8，避免无效转换
2. 正则匹配[\xC3-\xC5]是针对常见的UTF-8重音字符误解码后的特征（如Ã对应UTF-8的起始字节0xC3）
3. 最终统一转Windows-1252时，所有修复后的UTF-8字符会被正确映射到Windows-1252编码（包括其支持的特殊字符）

内容的提问来源于stack exchange，提问作者Ken Addams