Python中如何基于关键词过滤URL列表并解决移除域名时的ValueError报错

问题分析 #

你遇到的ValueError是因为list.remove(x)要求元素x必须存在于列表中——你的例子里只有www.tripadvisor.com，没有tripadvisor.com，所以第二个remove调用直接报错了。而且这种逐个移除的方式不仅容易出错，还没法处理子域名（比如en.facebook.com），效率也不高。

最优解决方案 #

我推荐两种方法，根据你的需求选择：

方法1：无额外依赖的快速过滤（推荐）

用列表推导式结合urlparse提取域名，再通过any()检查是否包含黑名单中的关键词。这种方法简洁高效，能处理带www、子域名的情况，且不会报错：

from urllib.parse import urlparse

# 你的原始URL列表
page_urls = [
    'https://the1955club.com/', 
    'https://www.tripadvisor.com/Restaurant_Review-g1842228-d10140470-Reviews-The_1955_Club-Walton_On_Thames_Surrey_England.html',
    'https://en.facebook.com/foo',
    'https://ebag.com/bar'
]

# 定义要过滤的域名关键词黑名单（用集合查询更快）
blacklist_domains = {'tripadvisor', 'facebook', 'instagram', 'twitter', 'ebag'}

# 过滤逻辑：只保留域名不包含黑名单关键词的URL
filtered_urls = [
    url for url in page_urls 
    if not any(domain in urlparse(url).netloc for domain in blacklist_domains)
]

print(filtered_urls)
# 输出: ['https://the1955club.com/']

为什么这个方法更好？

• 列表推导式比循环append+remove的写法更简洁，执行效率更高
• any()会检查域名是否包含黑名单中的任意关键词，自动跳过所有不符合的URL，不会出现元素不存在的报错
• 能处理各种子域名、带www的情况（比如en.facebook.com也会被正确过滤）

方法2：精准根域名匹配（需额外依赖）

如果需要更精准的匹配（比如避免误杀类似mytripadvisor.com这种包含关键词但不是目标域名的情况），可以使用tldextract库提取根域名：

首先安装依赖：

pip install tldextract

然后编写代码：

import tldextract

page_urls = [
    'https://the1955club.com/', 
    'https://www.tripadvisor.com/Restaurant_Review-g1842228-d10140470-Reviews-The_1955_Club-Walton_On_Thames_Surrey_England.html',
    'https://mytripadvisor.com/foo'  # 这个不会被误杀
]

# 定义要过滤的根域名黑名单
blacklist_root_domains = {'tripadvisor.com', 'facebook.com', 'instagram.com', 'twitter.com', 'ebag.com'}

# 过滤逻辑：只保留根域名不在黑名单中的URL
filtered_urls = [
    url for url in page_urls 
    if tldextract.extract(url).registered_domain not in blacklist_root_domains
]

print(filtered_urls)
# 输出: ['https://the1955club.com/', 'https://mytripadvisor.com/foo']

为什么你的原代码会报错？ #

你的原代码先把所有URL的netloc提取到all_urls列表，然后尝试移除www.tripadvisor.com和tripadvisor.com。但如果列表中不存在某一个元素（比如你的例子里没有tripadvisor.com），list.remove(x)就会抛出ValueError。而且这种方式只能移除第一个匹配的元素，无法批量处理多个符合条件的URL，效率很低。

内容的提问来源于stack exchange，提问作者Kelly Tang