寻求Python实现IntelliJ风格全局搜索算法的轻量方案

针对你的需求，不需要PyLucene这类重量级工具——因为文件名列表较短，完全可以通过自行实现核心逻辑或使用轻量Python库来解决，以下是具体方案：

一、核心思路：模拟IntelliJ搜索规则 #

IntelliJ的文件名搜索核心是「大小写不敏感的子序列匹配」，同时优先匹配单词边界（驼峰、下划线、空格、点分割的单词）的首字母，支持完整单词、首字母组合、混合查询。

1. 文件名预处理 #

先把每个文件名拆分成标准化的单词集合：

• 驼峰命名分割：比如HelloWorld拆成Hello、World
• 按非字母数字字符（下划线、点、空格）分割
• 所有单词转小写，统一匹配规则

2. 查询匹配逻辑 #

对每个查询词（按空格分割多个查询项），逐一验证是否满足：

• 完整单词匹配：查询项是某个预处理后的单词的全匹配（小写）
• 首字母组合匹配：查询项是连续多个单词的首字母拼接（比如fnrar匹配file、name、rar的首字母）
• 子序列匹配：查询项的字符按顺序出现在文件名中（优先匹配单词首字母的子序列权重更高）

3. 排序规则 #

• 匹配强度：按完整单词匹配>首字母匹配>普通子序列匹配的权重加分，匹配位置越靠前分数越高
• Frecency排序：维护每个文件的访问次数和最后访问时间，计算综合分数（比如访问次数 + (当前时间 - 最后访问时间)的衰减系数），与匹配强度分数加权合并后排序

二、代码示例（自行实现） #

以下是简化版的实现代码，可直接扩展：

import re
from datetime import datetime

# 预处理文件名，分割为标准化单词列表
def split_filename_words(filename):
    # 处理驼峰命名：大写字母前加空格
    camel_split = re.sub(r'([a-z])([A-Z])', r'\1 \2', filename)
    # 按非字母数字字符分割，过滤空字符串并转小写
    return [word.lower() for word in re.split(r'[^a-zA-Z0-9]', camel_split) if word]

# 检查单个查询项是否匹配文件名
def is_match(query_term, filename_words, filename_lower):
    query_term = query_term.lower()
    # 完整单词匹配
    if query_term in filename_words:
        return True
    # 首字母组合匹配
    term_len = len(query_term)
    for i in range(len(filename_words) - term_len + 1):
        initials = ''.join([w[0] for w in filename_words[i:i+term_len]])
        if initials == query_term:
            return True
    # 子序列匹配（IntelliJ核心逻辑）
    it = iter(filename_lower)
    return all(c in it for c in query_term)

# 计算匹配分数（越高越好）
def get_match_score(query_terms, filename_words, filename_lower):
    score = 0
    for term in query_terms:
        term_lower = term.lower()
        # 完整单词匹配加10分
        if term_lower in filename_words:
            score += 10
        # 首字母组合匹配加8分
        term_len = len(term_lower)
        for i in range(len(filename_words) - term_len + 1):
            if ''.join([w[0] for w in filename_words[i:i+term_len]]) == term_lower:
                score += 8
                break
        # 子序列匹配加5分
        it = iter(filename_lower)
        if all(c in it for c in term_lower):
            score += 5
    return score

# 计算Frecency分数（示例：访问次数+时间衰减）
def get_frecency_score(file_stats, now):
    # file_stats结构：{"access_count": int, "last_access": datetime}
    days_since_access = (now - file_stats["last_access"]).days
    # 时间衰减：每过一天减1分，最低0分
    time_decay = max(0, 30 - days_since_access)
    return file_stats["access_count"] + time_decay

# 搜索并排序
def search_filenames(query, filenames, file_stats):
    query_terms = query.split()
    now = datetime.now()
    results = []
    filename_word_map = {name: split_filename_words(name) for name in filenames}
    
    for name in filenames:
        words = filename_word_map[name]
        name_lower = name.lower()
        # 所有查询项都需匹配
        if all(is_match(term, words, name_lower) for term in query_terms):
            match_score = get_match_score(query_terms, words, name_lower)
            frecency_score = get_frecency_score(file_stats[name], now)
            # 加权合并分数（匹配强度占70%，Frecency占30%）
            total_score = match_score * 0.7 + frecency_score * 0.3
            results.append((-total_score, name))  # 负号用于升序排序，高分在前
    
    results.sort()
    return [name for (score, name) in results]

# 测试数据
filenames = [
    "HelloWorld.csv",
    "hello_windsor.pdf",
    "some_file_i_need.jpg",
    "san_fransisco.png",
    "Another.file.txt",
    "A file name.rar"
]

# 模拟文件访问统计
file_stats = {
    "HelloWorld.csv": {"access_count": 10, "last_access": datetime(2024, 5, 1)},
    "hello_windsor.pdf": {"access_count": 5, "last_access": datetime(2024, 5, 5)},
    "some_file_i_need.jpg": {"access_count": 15, "last_access": datetime(2024, 5, 10)},
    "san_fransisco.png": {"access_count": 3, "last_access": datetime(2024, 4, 1)},
    "Another.file.txt": {"access_count": 7, "last_access": datetime(2024, 5, 8)},
    "A file name.rar": {"access_count": 20, "last_access": datetime(2024, 5, 12)}
}

# 测试搜索
print(search_filenames("hw", filenames, file_stats))
print(search_filenames("file need", filenames, file_stats))
print(search_filenames("fnrar", filenames, file_stats))

三、轻量库推荐 #

如果不想自己实现匹配逻辑，可以用以下轻量库：

• rapidfuzz：纯Python实现的快速模糊匹配库，支持子序列匹配、相似度计算，安装简单pip install rapidfuzz，性能比手动实现更优，可替代自定义的匹配和分数计算逻辑。
• fuzzysearch：专注于子序列模糊匹配的轻量库，适合实现IntelliJ风格的连续字符匹配。

内容的提问来源于stack exchange，提问作者Adam Griffiths