如何确认Julia的Downloads包向Wikimedia API正确传递User-Agent头部？

问题背景 #

• 需求：开发机器人通过Julia的Downloads包调用Wikimedia API，每15秒拉取20条数据（共约300次请求），需确保User-Agent/Api-User-Agent头部正确传递（包含联系方式），避免IP被封禁。
• 困境：调整代码将头部放入headers参数后，尝试多种头部组合（无头部、合规/无效头部、混合头部），Downloads包的输出均无明显差异，无法确认头部是否生效。
• 过往错误：曾误将请求头部作为URL参数传递，导致API返回Unrecognized parameter: User-Agent错误。

当前代码示例 #

wikiwords = "dog|cat";
wikidata = "some\\valid\\path\\dontworry.txt"; # 注意转义Windows路径的反斜杠
wikiurl = "https://en.wiktionary.org/w/api.php?action=query&prop=revisions&rvprop=content&format=json&rvslots=main&maxlag=1&titles=" * wikiwords;

wikiheaders = Dict(
    "User-Agent" => "learning_julia_test(;)julia1_11",
    "Testheader" => "pleasereject");

requesty = Downloads.request(wikiurl;
    output=wikidata, method="GET", headers=wikiheaders);

print("\n" * string(requesty.proto) * "\n");
print(string(requesty.url) * "\n");
print(string(requesty.status) * "\n");
print(string(requesty.message) * "\n");
print(replace(string(requesty.headers), r"[\"]*[,]*[\"]" => "\n"));
print((read(wikidata, String)));

确认头部传递的实用方法 #

1. 本地代理抓包验证 #

• 启动HTTP代理工具（如Fiddler、Charles），配置Julia通过代理发送请求：

  ENV["HTTP_PROXY"] = "http://127.0.0.1:8888" # 对应代理工具的监听端口
  ENV["HTTPS_PROXY"] = "http://127.0.0.1:8888"
  

• 运行代码后，在代理工具的请求详情中直接查看头部字段，确认User-Agent是否正确发送。

2. 使用测试API验证头部 #

• 将wikiurl替换为返回请求详情的测试接口（如https://httpbin.org/get），该接口会原样返回请求的所有信息，包括头部。
• 运行代码后，查看输出的JSON内容，即可明确看到User-Agent等头部是否已传递。

3. 遵循Wikimedia头部规范 #

• 按照要求，User-Agent必须包含联系方式（邮箱、GitHub链接等），推荐格式：机器人名称/版本 (联系方式) Julia/版本号，例如：WiktionaryDataBot/1.0 (your.email@example.com) Julia/1.11
• 也可使用Api-User-Agent头部，优先级高于User-Agent，格式要求一致。

4. 利用API警告验证 #

• 故意传递不合规的User-Agent（如空值或无联系方式的短字符串），观察API返回的JSON是否包含warnings字段。
• 若收到警告，说明头部已被API识别，调整为合规格式即可消除警告。

内容的提问来源于stack exchange，提问作者Justworks