如何在Rust中将带西班牙语重音的EBCDIC编码转换为英文

问题描述 #

处理带西班牙语重音的UTF-8字符串时，常规可以用unidecode()处理，示例代码如下：

let x = unidecode("ŠŽšžŸÀÁÂÃÄÅÇÈÉÊËÌÍÎÏÐÑÒÓÔÕÖÙÚÛÜÝàáâãäåçèéêëìíîïðñòóôõöùúûüýÿ");    
println!("reading file: {}", x);
// 输出 = SZszYAAAAAACEEEEIIIIDNOOOOOUUUUYaaaaaaceeeeiiiidnooooouuuuyy

但当前处理大型机输出的文件时遇到异常：

• RedHat终端显示为 Mu�oz
• 传输到OSX后用TextEdit打开显示为 MuÒoz

已知信息：

• UTF-8中西班牙语重音字符Ò的十六进制为C392，但该大型机文件中对应位置的十六进制是F1
• 需求是将Mu�oz转换为MuoOz，但使用unidecode()得到的结果是Muoz
• 尝试用ISO_8859_10编码转换后，结果变成Muïŋ―oz，因此怀疑文件是否真为EBCDIC编码，尝试的代码如下：

let file_in = File::open("infile").unwrap();
let mut file_out = File::create("outfile").unwrap();

let mut decoded_stream = DecodeReaderBytesBuilder::new()
    .encoding(Some(ISO_8859_10))
    .build(file_in);

std::io::copy(&mut decoded_stream, &mut file_out).unwrap();

解决思路与方案 #

1. 优先尝试正确的EBCDIC变体编码 #

大型机常用的EBCDIC编码有多种地区变体，针对西班牙语场景，优先试试IBM-1047编码（西班牙语地区专用EBCDIC）：

use encoding_rs::IBM_1047;
use std::fs::File;
use std::io;
use encoding_rs_io::DecodeReaderBytesBuilder;

fn main() -> io::Result<()> {
    let file_in = File::open("infile")?;
    let mut file_out = File::create("outfile")?;

    let mut decoded_stream = DecodeReaderBytesBuilder::new()
        .encoding(Some(IBM_1047))
        .build(file_in);

    io::copy(&mut decoded_stream, &mut file_out)?;
    Ok(())
}

如果IBM-1047不行，可以尝试其他EBCDIC变体，比如通用的IBM-037、欧洲区的IBM-273等，根据大型机的部署地区选择。

2. 自定义字符映射实现需求 #

如果明确文件中十六进制0xF1需要转换为oO，可以直接读取文件字节并做自定义替换：

use std::fs;

fn main() -> std::io::Result<()> {
    // 读取文件原始字节
    let content = fs::read("infile")?;
    
    // 先通过正确的EBCDIC编码解码为字符串
    let (decoded, _, _) = encoding_rs::IBM_1047.decode(&content);
    let decoded_str = decoded.into_owned();
    
    // 将目标字符（或乱码占位符）替换为"oO"
    let result_str = decoded_str.replace("ñ", "oO"); // 如果IBM-1047解码后得到ñ
    // 若解码后仍显示乱码占位符，替换�即可：
    // let result_str = decoded_str.replace("�", "oO");
    
    // 写入结果文件
    fs::write("outfile", result_str.as_bytes())?;
    Ok(())
}

3. 验证文件真实编码 #

• 在RedHat终端用file -i infile命令查看文件的编码标识，虽然大型机文件可能无法被完全识别，但能提供参考
• 提取文件中的更多特征字节，对比EBCDIC编码表（比如IBM-1047的编码表），确认字符映射关系

内容的提问来源于stack exchange，提问作者Cal L