如何在Python中并行化查询（类似PLINQ）？TensorFlow性能优化

嘿，我一眼就瞅出问题所在了！你当前的代码效率低有两个核心原因：一是循环里调用words.count(word)，每次都要遍历整个列表，时间复杂度直接拉到O(n²)，大数据集下肯定慢到离谱；二是普通Python循环是单线程执行的，自然只会占用单个CPU核心，完全浪费了多核资源。

下面给你几个针对性的优化方案，从简单到进阶都有：

1. 用标准库collections.Counter——最快最简的方案 #

Python标准库的Counter是专门为计数场景设计的，底层用C实现，只需要遍历一次列表就能完成统计，时间复杂度降到O(n)，速度提升不是一星半点。

from collections import Counter

# 一步完成词频统计
word_counts = Counter(words)
# 如果需要按单词排序的结果
sorted_word_counts = sorted(word_counts.items(), key=lambda x: x[0])

这个方案代码量最少，对于绝大多数数据集来说，速度已经足够快了，优先推荐！

2. 多进程并行统计——榨干多核CPU性能 #

如果你的数据集大到Counter都有点吃力，那就试试用多进程拆分任务，把列表分成多个块，每个CPU核心处理一个块的计数，最后合并结果。

from collections import Counter
from concurrent.futures import ProcessPoolExecutor
import math
import os

def count_chunk(chunk):
    """统计单个数据块的词频"""
    return Counter(chunk)

def parallel_count(words, num_workers=None):
    # 根据CPU核心数拆分数据块
    num_workers = num_workers or os.cpu_count()
    chunk_size = math.ceil(len(words) / num_workers)
    chunks = [words[i:i+chunk_size] for i in range(0, len(words), chunk_size)]
    
    # 启动多进程处理
    with ProcessPoolExecutor(max_workers=num_workers) as executor:
        counters = list(executor.map(count_chunk, chunks))
    
    # 合并所有子结果
    total_counter = Counter()
    for counter in counters:
        total_counter.update(counter)
    return total_counter

# 使用示例
word_counts = parallel_count(words)
sorted_word_counts = sorted(word_counts.items(), key=lambda x: x[0])

这样就能让所有CPU核心都跑起来，处理超大规模数据集时效果很明显。

3. TensorFlow原生操作——适配你的TF工作流 #

既然你是在TensorFlow环境下，直接用TF的原生操作更贴合你的工作流，还能利用GPU/TPU加速，效率拉满。

import tensorflow as tf

# 将Python列表转为TF字符串张量
words_tensor = tf.convert_to_tensor(words, dtype=tf.string)
# 一次性获取唯一词、索引和计数
unique_words, _, counts = tf.unique_with_counts(words_tensor)

# 如果需要按单词排序
sorted_indices = tf.argsort(unique_words)
sorted_words = tf.gather(unique_words, sorted_indices)
sorted_counts = tf.gather(counts, sorted_indices)

# 转回Python格式（如果需要的话）
sorted_word_counts = list(zip(
    sorted_words.numpy().tolist(), 
    sorted_counts.numpy().tolist()
))

TF的这个操作是底层优化过的，而且能自动利用硬件加速，适合已经在TF生态里处理数据的场景。

内容的提问来源于stack exchange，提问作者Sergio0694