Ruby非Rails环境下带重音字符的文本转ASCII编码问题

嘿，我明白你遇到的问题了——在非Rails环境里没法用Rails自带的convert_to_ascii，还碰到编码错误对吧？别担心，咱们用Ruby原生的Unicode处理就能搞定这个需求，完全不需要依赖ActiveSupport。

核心思路 #

带重音的字符（比如é、à）在Unicode体系里，其实可以拆分成基础字符+独立的重音标记。我们可以利用Ruby的Unicode规范化功能拆分这些组合字符，再移除多余的重音标记，就能得到你想要的无重音ASCII字符串。

自定义去除重音的方法 #

直接用下面这个方法就能实现你的需求：

def remove_accents(str)
  # 先将字符串转为NFKD规范化形式，拆分重音与基础字符
  str.unicode_normalize(:nfkd)
     # 移除所有非间距重音标记（\p{Mn}匹配Unicode中的非间距标记类）
     .gsub(/\p{Mn}/, '')
end

# 测试示例
original_text = "J'ai été mise au courant des éventualités à temps."
clean_text = remove_accents(original_text)
puts clean_text
# 输出：J'ai ete mise au courant des eventualites a temps.

处理文件编码问题 #

如果读取文件时遇到编码错误，一定要确保文件以正确的编码打开。比如你的文件是UTF-8编码：

# 指定UTF-8编码读取文件
File.open('your_text_file.txt', 'r:utf-8') do |file|
  raw_content = file.read
  processed_content = remove_accents(raw_content)
  # 这里执行存入数据库的操作
end

如果文件是其他编码（比如ISO-8859-1），先转码为UTF-8再处理：

raw_content = File.read('your_text_file.txt', encoding: 'ISO-8859-1').encode('UTF-8')
processed_content = remove_accents(raw_content)

为什么这个方法有效？ #

• unicode_normalize(:nfkd)：NFKD是Unicode的“兼容分解”规范化形式，它会把带重音的复合字符拆成基础字符和独立的重音标记（比如é拆成e+´）。
• gsub(/\p{Mn}/, '')：\p{Mn}是Unicode字符类，匹配所有非间距的重音标记字符，把它们替换为空字符串后，就只剩下基础的ASCII字符了。

内容的提问来源于stack exchange，提问作者Siya