Python中是否有内置方法可将含非法字符的无效URL转为合法URL

一、优先方案：Python内置方法（无需复杂正则） #

Python标准库urllib.parse原生支持URL结构的拆分与重组，鲁棒性远高于手写的全字符串正则，不会出现破坏合法URL结构的问题。

实现逻辑 #

• 先将原始URL拆分为协议、域名、路径、请求参数、锚点几个独立结构段，避免全字符串操作误修改合法的域名、协议结构
• 按照业务需求定义合法字符集合，逐段剔除不在集合内的非法字符（包括示例中的]、特殊组合符号͜、不可见控制字符\x1d）
• 将清洗后的各结构段重新拼接为标准合法URL

可运行代码 #

from urllib.parse import urlsplit, urlunsplit

def clean_invalid_url(raw_url):
    # 拆分URL为独立结构段
    url_parts = urlsplit(raw_url)
    # 定义合法字符集合：可根据业务需求增减允许保留的特殊符号
    allowed_char = set(
        "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"
        "0123456789-._~:/?#@!$&'()*+,;="
    )
    # 逐段清洗非法字符
    cleaned_path = ''.join([c for c in url_parts.path if c in allowed_char])
    cleaned_query = ''.join([c for c in url_parts.query if c in allowed_char])
    cleaned_fragment = ''.join([c for c in url_parts.fragment if c in allowed_char])
    # 重新拼接为标准URL
    return urlunsplit(
        (url_parts.scheme, url_parts.netloc, cleaned_path, cleaned_query, cleaned_fragment)
    )

# 测试用例
raw_url = 'https://test.com/ABC]VR͜'
print(clean_invalid_url(raw_url))
# 输出结果：https://test.com/ABCVR

二、正则实现方案 #

原有代码的问题 #

之前编写的正则仅针对域名提取做结构匹配，完全没有对路径段的非法字符执行替换清洗操作，根本没有触发字符剔除的逻辑，自然无法得到预期结果。

正则编写思路 #

不需要拆分复杂的域名匹配规则，直接对全字符串内的非法字符集合做匹配，将所有不在合法字符范围内的字符直接替换为空即可。

可运行代码 #

import re

raw_url = 'https://test.com/ABC]VR͜'
# 匹配所有不在合法字符集合内的内容，直接替换为空
cleaned_url = re.sub(r"[^a-zA-Z0-9\-._~:/?#@!$&'()*+,;=]", '', raw_url)
print(cleaned_url)
# 输出结果：https://test.com/ABCVR

效果说明 #

• 会自动剔除示例URL中的]符号、特殊组合Unicode符号͜、不可见控制字符\x1d
• 会完整保留URL本身的合法分隔结构（比如协议头的://、路径的/、域名的.等合法分隔符不会被误删）

内容的提问来源于stack exchange，提问作者Ahmed