Ruby使用open-uri/IO.copy下载PDF时动态URL遇404问题

可能的原因及对应解决方案 #

1. 隐形字符或编码异常 #

API返回的URL可能包含肉眼不可见的隐形字符（比如零宽空格、全角空格），或是带BOM的UTF-8编码。硬编码时手动输入的是纯ASCII格式URL，所以正常，但变量里的URL携带了这些干扰字符导致404。

排查操作：
把URL拆成字符数组打印ASCII码，对比硬编码URL的字符编码：

api_url = api_response[:label_url]
hardcode_url = "https://your-logistics-api.com/label.pdf"

# 打印变量URL的字符ASCII码
puts "变量URL字符编码：#{api_url.chars.map(&:ord).join(', ')}"
# 打印硬编码URL的字符ASCII码
puts "硬编码URL字符编码：#{hardcode_url.chars.map(&:ord).join(', ')}"

如果看到额外的数值（比如零宽空格是8203、全角空格是12288），就是隐形字符在搞鬼。

解决代码：
用正则清理非标准URL字符，或重新编码统一格式：

# 清理所有非ASCII可见字符
clean_url = api_url.gsub(/[^\x20-\x7E]/, '').strip
# 或通过解码再编码修复格式问题
clean_url = URI.encode(URI.decode(api_url))

2. URL双重编码问题 #

API返回的URL可能已经完成编码，但存入变量后调用时被工具（open-uri/Net::HTTP）再次编码，导致URL变成双重编码，服务器无法识别。

排查操作：
打印解码后的URL对比差异：

puts "变量URL解码后：#{URI.decode(api_url)}"
puts "硬编码URL解码后：#{URI.decode(hardcode_url)}"

如果两者不一致，说明存在编码重复问题。

解决代码：
先解码再编码，确保URL格式统一：

normalized_url = URI.parse(URI.encode(URI.decode(api_url)))
# 使用标准化后的URL调用
open(normalized_url)

3. 请求头不匹配 #

硬编码用open时的默认请求头，和你用open-uri/wget/Net::HTTP调用时的请求头可能存在差异（比如User-Agent、Referer），服务器会根据请求头做校验，不匹配就返回404。

排查操作：
用抓包工具（Charles/Wireshark）对比两种调用方式的请求头，找出差异字段。

解决代码：
模拟硬编码open的请求头进行调用：

require 'open-uri'
headers = {
  'User-Agent' => 'Ruby', # 替换为硬编码调用时的User-Agent
  'Accept' => '*/*'
}
open(clean_url, headers)

或用Net::HTTP手动配置请求头：

require 'net/http'
uri = URI(clean_url)
req = Net::HTTP::Get.new(uri)
req['User-Agent'] = 'Ruby'

Net::HTTP.start(uri.hostname, uri.port, use_ssl: uri.scheme == 'https') do |http|
  res = http.request(req)
  File.write('label.pdf', res.body)
end

4. URL参数过期或不一致 #

API返回的URL可能包含临时签名、时间戳等动态参数，硬编码时用的是刚获取的有效URL，但存入变量后如果间隔时间过长，参数可能已过期。

排查操作：
对比刚从API获取的URL和变量中存储的URL，检查签名、timestamp等字段是否一致。

解决代码：
确保每次调用时都重新从API拉取最新的URL，不要复用过期的变量值。

调试小技巧 #

• 把变量中的URL直接复制到浏览器打开，如果也404，说明URL本身无效；如果能正常下载，说明是代码调用时的请求头或编码问题。
• 捕获URI格式异常，快速定位格式问题：

begin
  URI.parse(api_url)
rescue URI::InvalidURIError => e
  puts "URL格式错误：#{e.message}"
end

内容的提问来源于stack exchange，提问作者Zero_Cool09