Windows环境Ruby爬虫运行报错Invalid argument @ rb_sysopen求助

问题根因 #

• open-uri属于Ruby官方标准库，不需要单独执行gem install open-uri安装，你额外安装的第三方open-uri gem会覆盖标准库实现，导致方法调用异常
• Ruby 3.0及以上版本中，原内核层面的open()方法已经被移入URI模块下，直接调用open()会触发参数解析错误
• Windows环境默认没有配置完整的HTTPS根证书链，访问HTTPS链接时会触发SSL验证失败，进而报系统参数错误

修复步骤 #

1. 先卸载额外安装的第三方open-uri gem，执行命令：

gem uninstall open-uri

弹出选择时确认卸载所有版本即可。

2. 替换原有代码为如下内容：

require 'open-uri'
require 'nokogiri'
require 'openssl'

url = "https://www.rottentomatoes.com/m/spectre_2015"
# 使用URI.open符合新版语法，临时跳过SSL验证适配Windows环境
page = Nokogiri::HTML(URI.open(url, ssl_verify_mode: OpenSSL::SSL::VERIFY_NONE))

print page

3. 重新执行ruby crawl.rb即可正常运行。

补充说明 #

如果需要保留SSL验证，你可以手动下载CA根证书包，配置SSL_CERT_FILE系统环境变量指向证书文件路径即可，不需要修改代码逻辑。

内容的提问来源于stack exchange，提问作者Oliver Gerber