如何在Python中验证含锚点哈希的URL并检测无效锚点？

我想在Python中验证带#章节锚点的URL（例如http://url_link.html#section）是否有效，用urlopen写了以下检测函数：

from urllib.request import urlopen

def is_valid_url(url):
    try:
        r = urlopen(url)
        return r.status == 200
    catch Exception e:
        return False

但调用时发现，即使传入含无效章节锚点的URL，函数依然返回True：

is_valid_url("http://valid_url_link.html#valid_section") # True
is_valid_url("http://valid_url_link.html#invalid_section") # Also True!

请问有没有方法在Python中检测http://valid_url_link.html#invalid_section这类带无效锚点的URL？

解决方案 #

为什么原有方法无效 #

URL中#后的锚点部分属于客户端解析内容，不会被发送到服务器。服务器只会处理#之前的URL路径，所以无论锚点是否有效，只要基础URL能返回200，函数就会返回True。要检测锚点有效性，必须获取页面内容后，检查页面中是否存在对应锚点的元素。

实现步骤与代码示例 #

我们可以拆分URL分离锚点，请求基础URL后解析HTML，检查页面是否存在匹配的锚点元素（通常是id属性等于锚点值，部分旧页面会用name属性）：

首先需要安装beautifulsoup4用于解析HTML：

pip install beautifulsoup4

然后编写检测函数：

from urllib.request import urlopen
from urllib.parse import urlsplit, urlunsplit
from bs4 import BeautifulSoup

def is_valid_url_with_anchor(url):
    # 拆分URL，提取锚点和基础URL
    url_components = urlsplit(url)
    anchor = url_components.fragment
    base_url = urlunsplit(url_components._replace(fragment=''))
    
    try:
        response = urlopen(base_url)
        # 先检查基础URL的响应状态
        if response.status != 200:
            return False
        
        # 无锚点则直接返回有效
        if not anchor:
            return True
        
        # 解析HTML页面内容
        soup = BeautifulSoup(response.read(), 'html.parser')
        # 检查是否存在匹配的id或name属性元素
        has_valid_anchor = (soup.find(id=anchor) is not None) or \
                          (soup.find(attrs={"name": anchor}) is not None)
        return has_valid_anchor
    except Exception:
        # 任何异常都返回无效
        return False

注意事项 #

• 动态渲染页面：如果页面内容是通过JavaScript动态生成的，BeautifulSoup无法解析动态加载的元素，此时需要使用selenium等工具模拟浏览器加载页面后再检查锚点。
• 大小写敏感：锚点值与页面元素的id/name是大小写敏感的，需确保匹配一致。
• URL编码：若锚点包含特殊字符，需确保URL已正确编码，否则可能导致拆分或解析错误。

内容的提问来源于stack exchange，提问作者locke14