Ruby HTTP库（curb/excon）为何返回ASCII-8BIT而非UTF-8编码？

现象重现 #

你的Ruby环境默认编码已设为UTF-8：

Encoding.default_external
=> #<Encoding:UTF-8>
Encoding.default_internal
=> #<Encoding:UTF-8>

通过shell调用curl能得到正确的UTF-8响应：

text = `curl -H "Authorization: Bearer #{token}" "#{url}"`
text[28782..28786]
=> "Maté,"
text.encoding
=> #<Encoding:UTF-8>

但使用curb或excon时，响应体编码为ASCII-8BIT：

Curb示例 #

curl = Curl::Easy.new(url)
curl.headers["Authorization"] = "Bearer #{client.auth_token}"
curl.http_get
body = curl.body_str
body[28782..28786]
=> "Mat\xC3\xA9"
body.encoding
=> #<Encoding:ASCII-8BIT>

Excon示例 #

connection = Excon.new(url, headers: {"Authorization" => "Bearer #{token}"})
response = connection.get
response_body = response.body
response_body[28782..28786]
=> "Mat\xC3\xA9"
response_body.encoding
=> #<Encoding:ASCII-8BIT>

为什么响应会被解析为ASCII-8BIT？ #

1. ASCII-8BIT的本质：Ruby中ASCII-8BIT（又称BINARY编码）是字节流的默认编码，当库无法确定内容的明确编码时，就会用这个编码标记原始字节。
2. HTTP库的严谨性：curb、excon这类Ruby HTTP库不会像shell的curl那样自动猜测编码，它们只会严格遵循HTTP协议规则——只有当响应头的Content-Type字段明确包含charset=utf-8（或其他编码）时，才会自动设置响应体的编码。
3. shell curl的特殊处理：shell环境下的curl会结合系统默认编码、响应内容的字节特征自动推断编码，所以即使响应头没声明charset，也能返回UTF-8编码的字符串。

系统性解决方法 #

1. 从根源修复：要求服务端明确返回编码 #

最彻底的解决方式是确认目标服务的响应头Content-Type是否包含charset=utf-8。如果服务端没有返回这个参数，联系服务端开发人员添加，这是符合HTTP规范的标准做法。

2. 配置HTTP库自动处理编码 #

针对不同库可以做针对性配置：

Curb

可以在请求前设置期望的编码，让库自动转换：

curl = Curl::Easy.new(url)
curl.headers["Authorization"] = "Bearer #{client.auth_token}"
curl.encoding = "utf-8" # 明确指定编码
curl.http_get
body = curl.body_str
body.encoding # 此时应为UTF-8

也可以从响应头提取编码后处理：

content_type = curl.content_type
charset = content_type.match(/charset=([^;]+)/)&.captures&.first || "utf-8"
body.force_encoding(charset)

Excon

Excon支持在初始化或请求时指定编码：

# 初始化连接时指定
connection = Excon.new(url, 
  headers: {"Authorization" => "Bearer #{token}"},
  encoding: "utf-8"
)
response = connection.get
response.body.encoding # 应为UTF-8

或者从响应头动态提取编码：

response = connection.get
content_type = response.headers["Content-Type"]
charset = content_type&.match(/charset=([^;]+)/)&.captures&.first || "utf-8"
response_body = response.body.force_encoding(charset)

3. 全局封装统一处理 #

如果项目中多处使用这些HTTP库，可以封装一个通用的响应处理方法，统一处理编码逻辑，避免重复代码：

def handle_response_body(body, content_type)
  charset = content_type&.match(/charset=([^;]+)/)&.captures&.first || "utf-8"
  body.force_encoding(charset).tap do |str|
    raise "Invalid #{charset} encoding" unless str.valid_encoding?
  end
end

# 使用示例（Curb）
body = curl.body_str
processed_body = handle_response_body(body, curl.content_type)

# 使用示例（Excon）
processed_body = handle_response_body(response.body, response.headers["Content-Type"])

4. 验证编码有效性 #

处理后可以用valid_encoding?方法验证编码是否正确，避免出现乱码：

processed_body = response.body.force_encoding("utf-8")
if processed_body.valid_encoding?
  # 正常处理逻辑
else
  # 编码错误处理，比如 fallback 到其他编码或抛出异常
end

内容的提问来源于stack exchange，提问作者Andrew Schwartz