Python中URL验证的边缘问题排查及解决方案咨询

以下是针对你遇到的边缘案例，纯字符串分析的URL验证方案，无需发送HTTP请求：

核心解决思路 #

1. 区分本地文件与URL：通过正则排除纯本地文件名（如contact.html），避免误判。
2. 补全无协议URL：给缺少http/https协议的URL自动补全默认协议，让标准解析工具能正确识别域名。
3. 分层验证：先解析URL结构，再验证域名格式，最后可选验证路径合法性。

自定义验证实现 #

import re
from urllib.parse import urlparse

def is_valid_url(url: str) -> bool:
    url = url.strip()
    if not url:
        return False

    # 排除纯本地文件名（如contact.html、image.png）
    local_file_regex = re.compile(
        r'^[a-zA-Z0-9-_]+\.(html|htm|txt|pdf|doc|docx|jpg|png|gif)$',
        re.IGNORECASE
    )
    if local_file_regex.match(url):
        return False

    # 解析URL，无协议则补全http://
    parsed_url = urlparse(url)
    if not parsed_url.scheme:
        url = f'http://{url}'
        parsed_url = urlparse(url)

    # 检查是否有有效域名（netloc不能为空）
    if not parsed_url.netloc:
        return False

    # 验证域名格式（支持带/不带www，排除非法域名）
    domain = parsed_url.netloc.split(':')[0]  # 移除端口号
    if domain.startswith('www.'):
        domain = domain[4:]
    valid_domain_regex = re.compile(
        r'^[a-zA-Z0-9][a-zA-Z0-9-]{0,61}[a-zA-Z0-9]\.[a-zA-Z]{2,}$'
    )
    if not valid_domain_regex.match(domain):
        return False

    # 可选：验证路径无非法字符
    invalid_path_chars = re.compile(r'[<>:"|?*]')
    if parsed_url.path and invalid_path_chars.search(parsed_url.path):
        return False

    return True

针对你的边缘案例测试 #

• contact.html → 返回False（正确排除本地文件）
• firespecialties.com/bullseyetwo.html → 补全协议后解析正常，返回True
• www.images.com/example.html → 补全协议后正确识别域名，返回True

可调整的扩展点 #

• 如需支持更多本地文件后缀，直接修改local_file_regex中的后缀列表。
• 如需支持IP地址作为域名，在valid_domain_regex中加入IP验证规则（比如r'^(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)$'）。
• 如需严格验证HTTPS，可将默认补全协议改为https://，或添加scheme检查逻辑。

内容的提问来源于stack exchange，提问作者Shili Ho