Windows 11下高效构建歌词lexicon的双程序文本处理方案咨询

一、歌词转唯一单词集合程序 #

核心完成歌词文本的清洗、分词与去重，输出无重复单词的集合。用Python实现的逻辑如下：

• 预处理：统一转为小写（避免大小写差异导致重复）、移除标点符号及特殊字符；
• 分词：按空格拆分文本；
• 去重：利用集合（Set）天然的唯一性特性快速去重。

示例代码：

import re
from typing import Set

def process_lyrics(lyrics_text: str) -> Set[str]:
    # 清洗文本：仅保留字母、数字和空格，转小写
    cleaned_text = re.sub(r'[^a-zA-Z0-9\s]', '', lyrics_text.lower())
    # 拆分单词并去重
    return set(cleaned_text.split())

二、词汇库（Lexicon）高效存储方案 #

放弃纯文本文件的线性存储，改用索引化存储解决大规模数据下的唯一性检查效率问题，推荐两种方案：

方案1：SQLite数据库（优先推荐，Windows原生支持） #

SQLite是Python内置的轻量级关系型数据库，无需额外安装服务，自带索引机制，唯一性检查效率为O(log n)：

• 创建带PRIMARY KEY约束的表，数据库层面自动保证单词唯一；
• 利用索引加速查询与插入时的唯一性校验。

方案2：Redis缓存（超大规模数据场景） #

Redis是内存型键值数据库，集合（Set）类型天然支持元素唯一性，插入与检查操作均为O(1)，适合千万级以上单词的存储。Windows下可通过WSL或官方Windows版本部署。

三、单词添加程序（保证幂等性） #

利用存储方案的内置特性，避免手动线性搜索，同时天然满足幂等性（重复添加不改变词汇库）：

基于SQLite的实现 #

import sqlite3
from typing import Set

def init_lexicon_db(db_path: str = 'lexicon.db'):
    # 初始化数据库与单词表
    conn = sqlite3.connect(db_path)
    cursor = conn.cursor()
    cursor.execute('''
        CREATE TABLE IF NOT EXISTS words (
            word TEXT PRIMARY KEY
        )
    ''')
    conn.commit()
    conn.close()

def add_words_to_lexicon(words: Set[str], db_path: str = 'lexicon.db'):
    # 批量添加单词，INSERT OR IGNORE自动跳过已存在的条目
    conn = sqlite3.connect(db_path)
    cursor = conn.cursor()
    for word in words:
        cursor.execute('INSERT OR IGNORE INTO words (word) VALUES (?)', (word,))
    conn.commit()
    conn.close()

基于Redis的实现 #

import redis
from typing import Set

def add_words_to_lexicon_redis(words: Set[str], host='localhost', port=6379):
    # SADD命令自动添加不存在的元素，已存在的元素会被忽略，天然幂等
    r = redis.Redis(host=host, port=port, db=0)
    r.sadd('lexicon', *words)

整体使用流程 #

1. 初始化词汇库（仅需执行一次）：

   # SQLite版本
   init_lexicon_db()
   # Redis版本无需额外初始化，首次调用自动创建集合
   

2. 处理歌词得到唯一单词集合：

   sample_lyrics = "Hey Jude, don't make it bad. Take a sad song and make it better."
   unique_words = process_lyrics(sample_lyrics)
   

3. 将单词添加到词汇库：

   # SQLite版本
   add_words_to_lexicon(unique_words)
   # Redis版本
   # add_words_to_lexicon_redis(unique_words)
   

内容的提问来源于stack exchange，提问作者BetterOffAlone