基于指定条件过滤URL列表，求推荐Python URL处理库

我需要从一个URL列表中提取符合要求的URL子集，示例URL列表如下：

需要移除包含以下内容的URL：

avoid_list =['mailto', '@', '.jpg', '.png', '.pdf']

我曾尝试使用如下列表推导式，但该方法有时会失效，仍保留含需规避内容的URL：

[url for url in urls for avoid in avoid_list if avoid not in url]

请问是否有可处理URL并基于条件过滤的Python库？

先修正你的列表推导式问题 #

你之前的列表推导式逻辑错误：它会只要有一个规避项不在URL里就保留该URL，而非所有规避项都不在URL里才保留。正确写法用all()判断所有规避项都不命中：

filtered_urls = [url for url in urls if all(avoid not in url for avoid in avoid_list)]

修正后就能正确过滤示例中所有符合规避条件的URL，最终保留index 1、5、6、7、8、9对应的URL。

专门处理URL的Python库 #

如果需要更严谨地解析URL（比如区分协议、精准识别文件扩展名，而非简单字符串匹配），可以用这些工具：

1. urllib.parse（Python标准库）

无需额外安装，可拆分URL的协议、路径等组成部分，实现精准过滤：

from urllib.parse import urlparse

def filter_valid_url(url):
    # 清理URL中的多余引号和空格
    cleaned_url = url.strip().strip("'")
    parsed = urlparse(cleaned_url)
    
    # 过滤mailto协议
    if parsed.scheme == 'mailto':
        return False
    # 提取路径中的文件扩展名并过滤
    path = parsed.path
    ext = path.split('.')[-1].lower() if '.' in path else ''
    if ext in ['jpg', 'png', 'pdf']:
        return False
    # 过滤含@的链接（通常为邮箱类链接）
    if '@' in cleaned_url:
        return False
    return True

filtered_urls = [url for url in urls if filter_valid_url(url)]

2. yarl（第三方库）

提供简洁的URL操作API，安装命令：pip install yarl

from yarl import URL

avoid_exts = {'jpg', 'png', 'pdf'}
filtered_urls = []
for url_str in urls:
    cleaned_url = url_str.strip().strip("'")
    try:
        url = URL(cleaned_url)
        # 过滤协议和扩展名
        if url.scheme == 'mailto':
            continue
        if url.path.suffix.lstrip('.') in avoid_exts:
            continue
        if '@' in cleaned_url:
            continue
        filtered_urls.append(url_str)
    except ValueError:
        # 跳过无效URL
        continue

3. furl（第三方库）

专注URL解析与操作的工具，安装命令：pip install furl

from furl import furl

avoid_exts = {'jpg', 'png', 'pdf'}
filtered_urls = []
for url_str in urls:
    cleaned_url = url_str.strip().strip("'")
    try:
        url = furl(cleaned_url)
        if url.scheme == 'mailto':
            continue
        ext = url.path.split('.')[-1].lower() if '.' in url.path else ''
        if ext in avoid_exts:
            continue
        if '@' in cleaned_url:
            continue
        filtered_urls.append(url_str)
    except Exception:
        # 跳过无效URL
        continue

内容的提问来源于stack exchange，提问作者Hadi