JRuby输入数据编码错误的清理处理方案咨询

针对你遇到的Java传入字符串转码报错、无法丢弃非法字节的问题，可以通过以下步骤解决：

核心思路 #

Java传入的二进制字符串默认标记为ASCII-8BIT编码，直接转UTF-8时，Ruby会将其当作ASCII处理（仅支持0x00-0x7F范围字节），超出范围的字节会触发转换错误。正确的处理逻辑是：

1. 先强制将二进制字符串的编码标记为ISO-8859-1（该编码支持所有0x00-0xFF字节，无无效值）；
2. 再将其转换为UTF-8，同时通过转码选项忽略或丢弃不需要的字符。

解决代码 #

针对你的错误示例，可使用以下代码实现需求：

x = [49, 138, 67].pack('C*')
# 强制指定编码为ISO-8859-1（仅修改编码标记，不改变字节内容）
iso_str = x.force_encoding(Encoding::ISO_8859_1)
# 转UTF-8，忽略无效/未定义字符（此处会自动跳过C1控制字符\x8A）
utf8_str = iso_str.encode(Encoding::UTF_8, invalid: :ignore, undef: :ignore)

puts utf8_str        # 输出: 1C
puts utf8_str.encoding # 输出: UTF-8

关键说明 #

• force_encoding：仅修改Ruby对字符串字节的解读方式，不会修改原始字节，是处理二进制转编码字符串的关键步骤；
• encode方法的invalid: :ignore和undef: :ignore选项：分别忽略转码时的无效字符和未定义字符，确保转换过程不抛出异常并自动丢弃目标字符；
• 若需要精准过滤特定范围的字符（比如ISO-8859-1的C1控制字符0x80-0x9F），可在转码后额外过滤：

  filtered_str = utf8_str.gsub(/[\u0080-\u009F]/, '')
  

为什么你之前的尝试无效 #

external_encoding、internal_encoding、converters是文件/IO操作的专属参数，字符串的encode方法不支持这些配置，需使用invalid、undef等字符串转码专属选项。

内容的提问来源于stack exchange，提问作者user1934428