You need to enable JavaScript to run this app. Python 如何按域名规则从明文匹配过滤URL并输出结果
优惠活动
大模型
产品
解决方案
定价
更多

Python 如何按域名规则从明文匹配过滤URL并输出结果

URL过滤功能实现方案

原代码存在的核心问题

  • 匹配逻辑方向颠倒:原代码判断url in line,即判断带完整路径的待检测URL是否出现在短的规则文本里,完全不符合实际匹配需求——实际需求是规则要能覆盖同域名下不同路径的长URL,比如规则是https://www.facebook.com/,要能匹配带/SomeCompany路径的子URL
  • 遍历逻辑bug:对打开的文件对象做嵌套循环时,第一次遍历结束后文件指针已经移动到末尾,后续循环无法读到有效内容;同时在遍历列表的过程中执行urls.remove(url),会导致列表元素跳读,出现漏匹配
  • 结果收集逻辑错误:内层循环每读到一行规则就往filtered里append未匹配的url,会重复添加同一个URL多次,且原代码打印时没有把filtered内容实际拼接进去,最终输出为空

正确实现逻辑

  1. 读取规则文件时先清理每行的换行符、首尾空白,将有效规则存入独立列表,避免文件指针偏移的问题
  2. 调整匹配判断方向:对每个待检测URL,只要它以任意一条有效过滤规则为前缀,就将其归类为需要过滤的内容,不加入最终结果集
  3. 避免遍历过程中修改原列表,用独立的结果列表存储符合要求的URL

参考实现代码

# 待过滤的URL列表
urls = ["https://www.facebook.com/SomeCompany", "https://example.com/news/", "https://twitter/test"]
# 先对URL去重
urls = list(dict.fromkeys(urls))

# 读取过滤规则,提前把所有行的空白、换行清理干净
with open("list.txt", 'r') as f:
    filter_rules = [line.strip() for line in f if line.strip()]

filtered = []
for url in urls:
    # 判断当前URL是否被任意一条规则覆盖
    is_blocked = False
    for rule in filter_rules:
        # 前缀匹配:只要URL以规则开头,就判定为需要过滤
        if url.startswith(rule):
            is_blocked = True
            break
    if not is_blocked:
        filtered.append(url)

# 打印最终结果
print(' - '.join(filtered))

进阶匹配场景

如果需要实现「匹配整个域名,不管后续带什么路径、甚至不管协议是http还是https」,可以借助Python标准库urllib提取两个URL的域名部分做比对:

  • 用urlparse(url).netloc提取待检测URL的域名
  • 同样提取规则文本的域名
  • 只要域名一致就判定为匹配,不需要严格匹配全路径前缀

内容的提问来源于stack exchange,提问作者Gooner

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.29 06:06:01