如何配置爬虫抓取指定网站的芬兰语版本页面？

Wayback Machine 存档芬兰语页面 #

• 先在浏览器打开目标页面，切换右上角语言到Suomi(fi)，等待页面完全加载为芬兰语。
• 直接复制此时浏览器地址栏的URL，提交到Wayback Machine存档——当前浏览器会话已带有芬兰语偏好的Cookie，Wayback会抓取该会话对应的内容。
• 如果复制URL仍无效，使用支持自定义请求头的Wayback存档工具，添加Accept-Language: fi-FI,fi;q=0.9请求头，强制服务器返回芬兰语内容。

HTTrack 抓取芬兰语页面/全站 #

这类基于Django搭建的网站通常用Cookie保存语言设置，而非URL参数，需让爬虫携带正确的Cookie：

1. 在浏览器切换到芬兰语页面，按F12打开开发者工具，在Application标签下找到Cookie，记下django_language=fi键值对（若没有则查找其他语言相关Cookie字段）。
2. 启动HTTrack抓取时，携带Cookie参数：

   httrack https://lovelace.oulu.fi/tietokonejärjestelmät/tietokonejärjestelmät/ -c "django_language=fi"
   

3. 保险起见，追加Accept-Language请求头强化语言偏好：

   httrack https://lovelace.oulu.fi/tietokonejärjestelmät/tietokonejärjestelmät/ -h "Accept-Language: fi-FI,fi;q=0.9,en;q=0.8" -c "django_language=fi"
   

4. 若上述方法无效，直接导出浏览器当前会话的Cookie为cookies.txt，让HTTrack加载该文件：

   httrack https://lovelace.oulu.fi/tietokonejärjestelmät/tietokonejärjestelmät/ --load-cookies cookies.txt
   

关键提示 #

• 不要执着于URL参数，这类网站的语言切换大多依赖Cookie而非URL后缀，必须让爬虫模拟浏览器的会话状态，携带正确的语言Cookie才能获取芬兰语内容。
• 切换语言时浏览器会发送请求设置Cookie，后续所有请求都会携带该Cookie，爬虫需要复刻这个状态才能拿到对应语言的页面。

内容的提问来源于stack exchange，提问作者reflektoin