大数据集下基于Category的关键词匹配高效文本挖掘方案求助

针对大规模数据集下原方案（全量Merge+apply）效率低下的问题，以下是Python和SQL环境下的优化方案：

Python 环境优化方案 #

方案1：分组+向量化字符串匹配（核心优化） #

避免全量Merge导致的数据膨胀，直接按Category分组，对每个组的description执行向量化匹配，利用pandas的str.contains（底层基于C实现，远快于Python层面的逐行循环）：

import pandas as pd

# 预处理：统一转小写，消除大小写匹配误差
data_set['desc_lower'] = data_set['description'].str.lower()
word_search['word_lower'] = word_search['Word_to_search'].str.lower()

# 构建每个Category对应的搜索词正则模式（加\b可实现精确词匹配，避免部分匹配）
search_patterns = word_search.groupby('Category')['word_lower'].agg(
    lambda words: '|'.join([f'\\b{word}\\b' for word in words])
).to_dict()

# 按Category分组批量匹配
matched_data = pd.DataFrame()
for cat, group in data_set.groupby('Category'):
    pattern = search_patterns.get(cat, '')
    if pattern:
        # 向量化匹配，效率远超逐行apply
        matches = group[group['desc_lower'].str.contains(pattern, regex=True)]
        matched_data = pd.concat([matched_data, matches], ignore_index=True)

# 整理最终结果（可删除临时列）
final_result = matched_data.drop('desc_lower', axis=1)

方案2：Dask 处理超大规模数据集（内存不足时） #

如果数据量远超内存容量，用Dask DataFrame实现并行分块处理，语法兼容pandas，自动利用多核CPU资源：

import dask.dataframe as dd

# 将pandas数据转为Dask分块数据集（npartitions根据CPU核心数调整）
dask_data = dd.from_pandas(data_set, npartitions=4)
dask_search = dd.from_pandas(word_search, npartitions=1)

# 构建搜索词字典并转为广播变量，避免重复传输
search_dict = dask_search.groupby('Category')['Word_to_search'].agg('|'.join).compute().to_dict()

# 定义匹配逻辑，Dask自动并行执行
def match_func(row):
    pattern = search_dict.get(row['Category'], '')
    return pattern and (row['description'].lower().find(pattern) != -1)

# 执行匹配并筛选结果
dask_data['match'] = dask_data.apply(match_func, axis=1, meta=('match', bool))
final_result = dask_data[dask_data['match']].compute()

SQL 环境优化方案 #

直接在数据库层面处理，避免数据传输开销，效率更优：

方案1：EXISTS 子查询（避免冗余关联） #

用EXISTS替代全量内连接，只返回匹配成功的记录，大幅减少中间数据量：

SELECT d.*
FROM data_set d
WHERE EXISTS (
    SELECT 1
    FROM word_search ws
    WHERE ws.Category = d.Category
      -- 大小写不敏感匹配（不同数据库函数略有差异，如SQL Server用LOWER，Oracle用LOWER）
      AND LOWER(d.description) LIKE CONCAT('%', LOWER(ws.Word_to_search), '%')
)

方案2：全文索引（超大规模数据最优解） #

如果数据库支持全文索引（如MySQL、PostgreSQL、SQL Server），创建索引后用原生全文搜索函数，速度比LIKE快几个数量级：

PostgreSQL 示例：

-- 创建英文文本全文索引
CREATE INDEX idx_data_desc_fulltext ON data_set USING gin(to_tsvector('english', description));

-- 执行精准匹配查询
SELECT d.*
FROM data_set d
JOIN word_search ws ON d.Category = ws.Category
WHERE to_tsvector('english', d.description) @@ to_tsquery('english', ws.Word_to_search);

MySQL 示例：

-- 创建全文索引
ALTER TABLE data_set ADD FULLTEXT INDEX ft_idx_description (description);

-- 布尔模式匹配（支持精确词、包含等逻辑）
SELECT d.*
FROM data_set d
JOIN word_search ws ON d.Category = ws.Category
WHERE MATCH(d.description) AGAINST(ws.Word_to_search IN BOOLEAN MODE);

内容的提问来源于stack exchange，提问作者sra