如何用Python从含大量5字母单词的大文件中随机选单词？

针对你的需求，不需要把所有单词加载到内存里，以下两种方案可以高效实现随机选词：

方案1：计数行数+定向读取 #

先遍历一次文件统计总行数，再随机生成目标行号，最后第二次遍历到对应行读取单词。内存仅在读取目标行时占用单个单词的空间。

import random

def get_random_word(file_path):
    # 第一次遍历：统计总行数
    line_count = 0
    with open(file_path, 'r') as f:
        for _ in f:
            line_count += 1
    
    # 生成随机目标行号（从0开始）
    target_idx = random.randint(0, line_count - 1)
    
    # 第二次遍历：定位到目标行
    with open(file_path, 'r') as f:
        for idx, line in enumerate(f):
            word = line.strip()
            # 跳过空行（如果文件存在的话）
            if not word:
                continue
            if idx == target_idx:
                return word

方案2：蓄水池抽样（单次遍历） #

如果不想遍历文件两次，用蓄水池抽样算法，仅需一次遍历，全程只保留一个候选单词，内存占用极低，且能保证每个单词被选中的概率均等。

import random

def get_random_word(file_path):
    selected_word = None
    with open(file_path, 'r') as f:
        for idx, line in enumerate(f):
            word = line.strip()
            if not word:
                continue
            # 第idx+1个有效单词，以1/(idx+1)的概率替换当前选中的单词
            if random.randint(0, idx) == 0:
                selected_word = word
    return selected_word

注意事项 #

• 两个方案都自动跳过空行，适配可能存在无效行的文件
• strip()会移除单词前后的换行符、空格等冗余字符，确保拿到干净的5字母单词

内容的提问来源于stack exchange，提问作者Skaffa_Polska