wget镜像站点重复下载文件:Last-modified header缺失问题求助
嘿,这个问题我之前也碰到过,来给你捋捋怎么解决~
首先得搞懂那个提示的意思:Last-modified header missing -- time-stamps turned off 其实是说目标服务器没给文件返回「Last-modified」响应头,wget本来靠这个头的时间戳来对比本地和服务器文件是否一致,现在没这个信息,它就只能关掉时间戳检查,这时候如果没额外设置,就会默认重新下载已经存在的文件——毕竟没法判断你本地的是不是最新的。
下面是几个实用的解决办法,都是用wget自带的参数搞定:
1. 最常用的组合:-c + -nc
把你的续传命令加上这两个参数就行,比如原来的命令如果是:
wget -r -p http://your-target-site.com
改成:
wget -r -p -c -nc http://your-target-site.com
这两个参数的作用:
-c/--continue:负责续传之前没下载完的半截文件,不用重新从头开始下载-nc/--no-clobber:如果本地已经有完整的同名文件,直接跳过,不会重复下载也不会覆盖
这个组合基本能解决大部分场景的问题,既保证续传未完成的文件,又不会重复下载已经完好的文件。
2. 用文件大小辅助判断:-N(可选)
如果服务器虽然没返回Last-modified,但返回了文件大小(Content-Length头),可以加上-N参数:
wget -r -p -c -N http://your-target-site.com
-N/--timestamping的作用是让wget对比本地文件和服务器文件的大小,如果大小一致就跳过,不一致才下载。不过这个前提是服务器会返回文件大小,要是连这个都没有,那这个参数作用不大。
3. 强制关闭时间戳检查(极端情况)
如果上面的方法还是有问题,可以试试加上--no-if-modified-since参数,让wget完全不用时间戳相关的请求头,直接靠-nc和-c来控制:
wget -r -p -c -nc --no-if-modified-since http://your-target-site.com
这个参数会让wget不发送If-Modified-Since请求,避免因为服务器没有Last-modified头导致的判断混乱。
额外注意事项
- 要是你怀疑本地某个文件损坏了,或者服务器上的文件确实更新了,记得手动删掉本地的旧文件再重新下载,不然
-nc会直接跳过 - 有些服务器可能既没Last-modified也没Content-Length,这种情况比较少见,要是碰到了,可能只能手动排查哪些文件需要重新下载了
内容的提问来源于stack exchange,提问作者yukashima huksay
相关产品推荐
相关产品推荐

