You need to enable JavaScript to run this app. 使用Beautiful Soup实现链接追踪的作业问题及学习资源咨询
优惠活动
大模型
产品
解决方案
定价
更多

使用Beautiful Soup实现链接追踪的作业问题及学习资源咨询

代码问题排查与修正

核心问题定位

  • 核心跳转逻辑缺失:每轮循环提取到指定位置的链接后,未将该链接赋值给用于发起请求的地址变量,导致所有请求始终指向最开始输入的初始地址,无法完成实际页面跳转。
  • 代码冗余:原代码手动初始化空列表、循环追加元素生成链接列表的写法可通过列表推导式简化,减少冗余代码量。
  • 鲁棒性不足:如果目标页面内存在不带域名的相对路径链接,直接发起请求会触发地址解析错误,需要对链接做完整路径补全处理。

修正后可适配作业要求的代码

import urllib.request, urllib.parse, urllib.error
from bs4 import BeautifulSoup
import ssl

# 作业环境要求的SSL证书校验忽略配置
ctx = ssl.create_default_context()
ctx.check_hostname = False
ctx.verify_mode = ssl.CERT_NONE

# 读取用户输入参数
current_url = input('Enter URL - ')
total_jumps = int(input("Enter count -"))
target_pos = int(input("Enter position -")) - 1

for jump_round in range(total_jumps):
    # 发起当前轮次的页面请求
    html = urllib.request.urlopen(current_url, context=ctx).read()
    soup = BeautifulSoup(html, "html.parser")
    # 提取页面内所有a标签的href链接
    link_list = [tag.get('href') for tag in soup('a')]
    # 基于当前页面地址补全目标链接的完整路径,兼容相对路径场景
    next_url = urllib.parse.urljoin(current_url, link_list[target_pos])
    # 关键赋值步骤:更新下一轮的请求地址
    current_url = next_url
    print("Retrieving:", next_url)

适配本次作业的参考学习内容

  • 《Python for Everybody》课程第11章《网络数据处理》中的爬虫跳转案例,完整覆盖“页面请求-链接提取-地址更新-循环跳转”的标准实现流程,和本次作业的考核逻辑完全匹配。
  • 课程配套的练习指导文档,明确标注了本次作业的核心校验点:每一轮跳转必须以上一轮提取到的指定位置链接为新的请求地址,否则会判定为未完成跳转任务。
  • 本地调试技巧:在代码中打印每一轮实际发起请求的地址,对比地址是否随跳转次数更新,可快速定位逻辑缺失的位置。

内容的提问来源于stack exchange,提问作者Enird

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.29 15:36:04