wget命令无法下载全部图片 下载中途停止的配置问题咨询

你当前使用的命令语法不存在配置错误，-nc参数的作用就是跳过已存在的本地文件避免重复下载，该参数本身不会导致程序中途停止运行，下载到约1000张时中断是其他触发条件导致的。

• 服务器侧访问限流：多数图片资源站会对单IP的短时间高频请求做风控拦截，wget默认无请求间隔，连续发起请求触发阈值后会被服务器主动断开连接，导致进程终止
• 链接列表异常：URL_DOWNLOAD列表中第1000条附近可能存在格式非法的URL、已失效链接、需要登录鉴权才能访问的资源，wget遇到这类致命连接错误时默认不会自动跳过后续条目，会直接退出
• 本地环境限制：如果存储分区使用ext2、老版FAT32等文件系统，单目录下文件数达到1024左右就会触发写入失败；另外磁盘空间不足、偶发网络超时未触发重试也会导致进程提前停止

将原命令调整为以下配置，可覆盖绝大多数中途中断的场景：

wget -nc --tries=5 --timeout=10 --wait=1 --random-wait --continue -i URL_DOWNLOAD -P PATH_IMAGE

新增参数的作用说明：

• --tries=5：单个资源下载失败时自动重试5次，规避偶发网络波动的影响
• --timeout=10：单个连接10秒无响应则判定为超时，不会无限卡死在无效链接上
• --wait=1 --random-wait：相邻两次下载请求之间间隔0.5~1.5秒的随机时长，避免请求频率过高触发服务器限流
• --continue：开启断点续传，即使中途进程退出，重新运行命令时已部分下载的文件无需从头开始传输

• 先执行wc -l URL_DOWNLOAD确认链接列表的总行数，排除列表本身仅收录1000条有效链接的情况
• 运行命令时追加-o wget_run.log参数，将全量运行日志写入本地文件，进程中断后查看日志末尾内容即可快速定位具体故障原因
• 如果使用的文件系统有单目录文件数限制，可按日期对图片分子目录存储，避开写入阈值

内容的提问来源于stack exchange，提问作者ebr15