如何复制网页指定列的全部URL 用于wget批量下载NCBI SRA文件

方法1：浏览器控制台提取（无需额外安装工具，最快捷） #

• 打开目标研究页面，等页面完全加载完成、所有数据行都渲染完毕
• 按F12打开开发者工具，切换到「控制台（Console）」标签
• 粘贴以下代码后按回车执行：

// 提取所有File Name列的下载链接
const fileUrls = Array.from(document.querySelectorAll('td.run a')).map(item => item.href)
// 按行输出所有链接
console.log(fileUrls.join('\n'))

• 直接全选控制台输出的链接内容，粘贴到本地新建的url_list.txt文件即可

小提示：如果页面存在分页，先将页面底部的每页显示条目数调整到最大值，等所有条目全部加载完成后再执行代码，避免漏抓URL。

方法2：命令行直接提取（适合服务器无桌面环境场景） #

无需打开浏览器，直接在服务器上执行命令即可生成链接列表文件：

curl -s "https://trace.ncbi.nlm.nih.gov/Traces/sra/?study=ERP001736" | grep -Eo 'https://sra-download[^"]+' | sort | uniq > url_list.txt

批量下载操作 #

提取到链接列表后，直接用wget执行批量下载即可：

wget -i url_list.txt -c -P ./sra_download/

参数说明：

• -i 指定读取URL的列表文件
• -c 开启断点续传，下载中断后重新执行命令可接着未完成的进度继续下载
• -P 指定下载文件的保存目录，可根据需求自行修改路径

内容的提问来源于stack exchange，提问作者Valentin