Python 3.8.8中urllib.parse为何无法正确拆分<scheme>:<纯数字>格式URL?
核心异常来源
这个拆分结果的不一致不是随机bug,是Python 3.8.8版本urllib.parse中硬编码的Windows兼容逻辑导致的,所有表现都能和该逻辑完全对应。
版本中urlsplit函数在初步识别到字符串内的冒号分隔结构后,会触发一段保守校验:如果冒号后的路径部分是完全由纯数字组成的,且当前scheme不是硬编码白名单里的http,就会强制将scheme置为空,把整段字符串作为普通相对路径处理。
这段逻辑的初衷是兼容Windows系统下的盘符路径(比如C:123这类字符串,避免被错拆为scheme=C的URI),但实现时做了过度泛化,没有结合scheme的合法长度、应用场景做更细的判断,才导致了行为和RFC URI规范的偏差。
按照RFC 3986的URI定义,只要scheme符合“开头为字母,后续由字母、数字、+、-、.组成”的规则,紧跟冒号就应当被识别为合法scheme,和冒号后的路径内容无关。空scheme对应纯相对路径引用,仅当字符串前置
./这类相对路径标记时,才应当被视为带冒号的相对路径。当前内置逻辑的处理方式确实和规范要求存在出入。
测试结果的匹配逻辑
把上述校验规则对应到你的所有测试用例上,结果完全一致:
- 所有冒号后带非数字字符(字母、点号等)的输入:路径不是纯数字,跳过特殊校验,正常拆分scheme和路径
- 所有scheme不是
http、且路径为纯数字的输入:触发特殊校验,scheme置空,全串作为路径 - 只有
http:12345因为在硬编码白名单里,不触发校验,正常拆分
这也解释了为什么自定义scheme、zip、https、ftp这类纯数字路径的输入都会拆分失败,且行为不稳定。
实现预期拆分效果的方案
如果你需要达成“所有合法scheme + 纯数字路径的输入都正确拆分、数字部分作为path”的目标,可以通过两种方式处理:
- 升级Python版本到3.9及以上
3.9版本已经修复了这个过度泛化的兼容逻辑:将特殊判断的触发条件从“非http + 纯数字路径”改为“单字符scheme + 纯数字路径”,不再拦截多字符长度的scheme。此时你提到的所有<scheme>:<整数>格式的输入都能按预期拆分。 - 在当前3.8.8环境下自定义拆分逻辑
编写一个简单的包装函数绕过内置校验,比如:from urllib.parse import urlparse import re def custom_urlparse(url_str): # 匹配 合法scheme:纯数字 的特殊触发场景 match = re.match(r'^([a-zA-Z][a-zA-Z0-9+.-]*):(\d+)$', url_str) if match: # 临时添加非数字标记,绕开内置的纯数字路径校验 parsed = urlparse(f"{url_str}#_temp") # 移除临时标记,还原正确的拆分结果 return parsed._replace( path=parsed.path.rstrip('#_temp'), fragment='' ) # 普通场景直接使用内置urlparse return urlparse(url_str)
内容的提问来源于stack exchange,提问作者FirefoxMetzger
相关产品推荐
相关产品推荐

