Java批量自动下载vermittlerregister.info PDF文件失败求助

问题背景 #

• 目标网站vermittlerregister.info支持通过GET请求下载PDF，示例链接：https://www.vermittlerregister.info/recherche?a=pdf&registernummer=D-W-111-BHC1-55
• 已尝试多种方法均无法获取PDF，仅返回网页：
  • 参照Spring Boot下载PDF教程实现的方法
  • Java IO原生文件下载方法
  • Scrapeops提供的浏览器模拟请求方式
• 网站验证逻辑：首次打开PDF链接会加载网页完成浏览器合法性校验，刷新及后续请求可直接下载PDF；经检测该网站无反机器人机制

尝试过程更新 #

Update 1：curl命令尝试失败 #

执行以下curl命令：

curl 'https://www.vermittlerregister.info/en/search?a=pdf&registernummer=D-W-111-BHC1-55' -H 'Cookie: session=s%3A9Q4kmQAo8-J7r9JgcxA_xBcpTGRW3ZmN.xBcVp19mrdbw%2FW0KZgSZNlj27BakNcA20m%2FjAIXRuic' > test.pdf

出现报错：

curl: (3) URL using bad/illegal format or missing URL
"registernummer" is not an internal or external command, executable program, or batch file.
生成的test.pdf文件损坏无法打开。

Update 2：携带完整Cookie的curl请求成功 #

执行以下命令可成功下载到正常PDF：

curl "https://www.vermittlerregister.info/en/search?a=pdf&registernummer=D-CRQV-N63D6-52" ^
  -H "accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7" ^
  -H ^"cookie: klaro-cookie-consent=^%^7B^%^22econda^%^22^%^3Atrue^%^2C^%^22session^%^22^%^3Atrue^%^2C^%^22cookie-consent^%^22^%^3Atrue^%^7D; emos_jcsid=AY9S7EDyMyIwXqoqRContP58fgh73OXg:1:0:0; emos_jcvid=AY9S7EDyMyIwXqoqRContP58fgh73OXg:1:0:0:0:true:1; session=s^%^3A9Q4kmQAo8-J7r9JgcxA_xBcpTGRW3ZmN.xBcVp19mrdbw^%^2FW0KZgSZNlj27BakNcA20m^%^2FjAIXRuic^" ^
  -H "user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 Edg/124.0.0.0" > test2.pdf

需求 #

寻求Java实现批量下载该网站PDF的解决方案。

内容的提问来源于stack exchange，提问作者Igor Savinkin