通过wget从Google Cloud Storage下载错误文件的问题排查

核心原因 #

• 端点类型错误：你使用的storage.cloud.google.com是Google Cloud Storage（GCS）的网页管理端点，并非直接的对象存储下载端点。当你用wget请求这个URL时，返回的是网页内容（几百KB的文件实际是网页的HTML/XML结构，包含对象的元数据或访问界面），而非你需要的NIDS雷达数据文件。
• URL权限与重定向逻辑：认证URL带有临时授权凭证，会直接指向原始对象；而公共URL如果通过网页端点访问，GCS会默认返回对象的元数据页面（也就是你看到的XML页面），而非原始文件内容。

解决方法 #

使用GCS的对象存储专用端点storage.googleapis.com来构造下载URL，执行以下命令即可获取正确的文件：

wget https://storage.googleapis.com/gcp-public-data-nexrad-l3-realtime/NIDS/YUX/HHC/HHC_20231120_1746

如果需要确保wget正确识别文件名，可添加--content-disposition参数：

wget --content-disposition https://storage.googleapis.com/gcp-public-data-nexrad-l3-realtime/NIDS/YUX/HHC/HHC_20231120_1746

内容的提问来源于stack exchange，提问作者Miss_Orchid