使用wget下载站点zip文件失败仅返回HTML文件求助

问题根因 #

• 命令中--domains example.org参数配置错误，你要下载的目标站点为data.binance.vision，该参数限制wget仅能抓取example.org域名下的内容，自然无法获取目标站点的zip文件
• 额外添加了大量网页爬取相关的冗余参数（--page-requisites、--html-extension、--convert-links等），这些参数对批量下载zip文件无实际作用，还会干扰资源匹配规则
• 未配置文件类型过滤规则，wget默认不会主动筛选zip格式的资源

修复后的wget下载命令 #

直接运行以下命令即可批量拉取目标路径下的所有zip文件：

wget --recursive --no-clobber --no-parent --accept zip --domains data.binance.vision https://data.binance.vision/data/spot/monthly/trades/1INCHBTC/

参数说明：

• --accept zip：仅下载后缀为zip的文件，过滤所有无关内容
• 将域名限制规则修改为目标站点data.binance.vision
• 移除所有网页爬取相关的冗余参数
• 将原请求的带查询参数的列表页路径替换为真实的静态资源目录路径，避免页面跳转逻辑干扰爬取

curl替代方案 #

如果要切换为curl工具实现批量下载，可通过提取列表页zip链接循环下载：

curl -s https://data.binance.vision/data/spot/monthly/trades/1INCHBTC/ | grep -o 'href="[^"]*\.zip"' | sed 's/href="//;s/"//' | while read zip_link; do
    curl -O "https://data.binance.vision/data/spot/monthly/trades/1INCHBTC/${zip_link}"
done

内容的提问来源于stack exchange，提问作者user3613174