爬取vesselfinder.com返回403错误，如何获取该站点全部船舶数据？

错误原因 #

你当前代码存在最明显的问题是：自定义的headers请求头已经定义，但调用requests.get()时没有传入该参数，请求实际携带的是requests默认的User-Agent，极易被目标站点的反爬策略拦截。
除此之外，vesselfinder.com部署了Cloudflare反爬机制，仅更换普通UA无法绕过基础的人机校验。

修复方案 #

1. 修正基础请求参数 #

先修复headers未传递的问题，可先测试是否能正常请求：

import requests
from bs4 import BeautifulSoup
import time

url = 'https://www.vesselfinder.com/vessels'
# 建议使用新版浏览器的UA
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8'
}

# 这里必须传入headers参数
response = requests.get(url, headers=headers)
print(response.status_code)
if response.status_code == 200:
    soup = BeautifulSoup(response.content, 'html.parser')
    # 后续解析逻辑

如果修改后仍返回403，说明触发Cloudflare校验，使用下面的方案。

2. 绕过Cloudflare反爬 #

使用专门适配Cloudflare绕过的cloudscraper库发起请求：

• 安装依赖：pip install cloudscraper
• 示例代码：

import cloudscraper
from bs4 import BeautifulSoup
import time

scraper = cloudscraper.create_scraper(browser={'browser': 'chrome', 'platform': 'windows', 'mobile': False})
url = 'https://www.vesselfinder.com/vessels'

headers = {
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8'
}

response = scraper.get(url, headers=headers)
print(response.status_code)
if response.status_code == 200:
    soup = BeautifulSoup(response.content, 'html.parser')
    # 后续解析逻辑

3. 全量数据爬取注意事项 #

• 控制请求频率，每两次请求间隔2-3秒，避免触发IP封禁
• 若爬取量级较大，建议搭配代理池使用，分摊单IP请求次数
• 翻页时注意校验每页返回的内容结构，避免页面结构变化导致解析失败

注意：爬取站点数据前请确认符合站点用户协议与相关法律法规，避免违规爬取引发法律风险

内容的提问来源于stack exchange，提问作者Anwar