Python使用BeautifulSoup抓取网页href后如何保存全部链接到txt文件
问题修复方案
核心问题说明
- 写入文件逻辑错误:你在遍历链接的循环内部每次用
'w'(覆盖写入)模式打开文件,每次打开都会清空文件原有内容,最终只会保留最后一次写入的链接 - 缺少相对路径转绝对路径的逻辑:直接取
href会拿到相对路径,需要结合当前爬取的页面域名拼接成完整链接 - 缺少导入依赖:原代码直接使用
request未导入对应模块
完整修改代码
from bs4 import BeautifulSoup import urllib.request as request from urllib.parse import urljoin # 用于拼接完整链接 def opener(): opener = request.build_opener() opener.addheaders = [('User-agent', 'Mozilla/5.0')] request.install_opener(opener) def spider(maxPages): # 提前打开文件,避免循环内反复IO消耗性能 with open('links.txt', 'w', encoding='utf-8') as file: page = 1 while page <= maxPages: # 替换为你实际爬取的站点根域名 base_url = "https://你实际要爬的站点根域名.com/" current_page_url = base_url + str(page) opener() source = request.urlopen(current_page_url) content = source.read() soup = BeautifulSoup(content, features="html.parser") for link in soup.findAll("a"): src = link.get("href") # 自动拼接相对路径为完整绝对链接 full_url = urljoin(base_url, src) print(full_url) # 写入时添加换行符,避免所有链接挤在同一行 file.write(full_url + '\n') page += 1 spider(1)
可选过滤逻辑示例
如果需要对链接做筛选,可在写入前添加判断条件,常见过滤场景参考:
- 仅保留当前站点的内部链接:
if full_url.startswith(base_url): - 过滤掉非http/https开头的无效链接:
if full_url.startswith(('http://', 'https://')): - 过滤掉指定后缀的非网页资源:
if not full_url.endswith(('.png', '.zip', '.jpg', '.exe')):
内容的提问来源于stack exchange,提问作者neph
相关产品推荐
相关产品推荐

