You need to enable JavaScript to run this app. Python使用BeautifulSoup抓取网页href后如何保存全部链接到txt文件
优惠活动
大模型
产品
解决方案
定价
更多

Python使用BeautifulSoup抓取网页href后如何保存全部链接到txt文件

问题修复方案

核心问题说明

  • 写入文件逻辑错误:你在遍历链接的循环内部每次用'w'(覆盖写入)模式打开文件,每次打开都会清空文件原有内容,最终只会保留最后一次写入的链接
  • 缺少相对路径转绝对路径的逻辑:直接取href会拿到相对路径,需要结合当前爬取的页面域名拼接成完整链接
  • 缺少导入依赖:原代码直接使用request未导入对应模块

完整修改代码

from bs4 import BeautifulSoup
import urllib.request as request
from urllib.parse import urljoin # 用于拼接完整链接

def opener():
    opener = request.build_opener()
    opener.addheaders = [('User-agent', 'Mozilla/5.0')]
    request.install_opener(opener)

def spider(maxPages):
    # 提前打开文件,避免循环内反复IO消耗性能
    with open('links.txt', 'w', encoding='utf-8') as file:
        page = 1
        while page <= maxPages:
            # 替换为你实际爬取的站点根域名
            base_url = "https://你实际要爬的站点根域名.com/"
            current_page_url = base_url + str(page)
            opener()
            source = request.urlopen(current_page_url)
            content = source.read()
            soup = BeautifulSoup(content, features="html.parser")
            for link in soup.findAll("a"):
                src = link.get("href")
                # 自动拼接相对路径为完整绝对链接
                full_url = urljoin(base_url, src)
                print(full_url)
                # 写入时添加换行符,避免所有链接挤在同一行
                file.write(full_url + '\n')
            page += 1

spider(1)

可选过滤逻辑示例

如果需要对链接做筛选,可在写入前添加判断条件,常见过滤场景参考:

  • 仅保留当前站点的内部链接:if full_url.startswith(base_url):
  • 过滤掉非http/https开头的无效链接:if full_url.startswith(('http://', 'https://')):
  • 过滤掉指定后缀的非网页资源:if not full_url.endswith(('.png', '.zip', '.jpg', '.exe')):

内容的提问来源于stack exchange,提问作者neph

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.13 23:36:00