验证Python asyncio异步运行：文本清洗异步改造无提速问题排查

你的异步改造没生效，核心问题在于asyncio是单线程异步框架，它的任务切换完全依赖异步IO等待（比如await网络请求、文件读写），但你的clean_text_async里全是CPU密集型操作——分词、过滤停用词、统计词频这些都是纯计算逻辑，没有任何await异步调用，导致asyncio根本没办法在这些任务之间切换，最终所有任务还是串行执行，耗时自然和同步版本几乎一致。

简单说：asyncio擅长的是IO密集型场景（比如批量请求API、读写大量文件），对CPU密集型任务完全起不到加速作用。

针对这种纯文本计算的CPU密集型任务，应该用多进程实现并行——Python的GIL（全局解释器锁）会限制多线程的CPU并行能力，而多进程可以绕过GIL，真正利用多核CPU。下面给两种可行的改造方案：

方案1：直接用进程池并行（最简洁） #

保留你原来的同步clean_text函数，用ProcessPoolExecutor实现并行：

from concurrent.futures import ProcessPoolExecutor

def clean_text(string, search_term):
    # 原同步函数逻辑完全不变
    stop_words = set(stopwords.words('english'))
    word_tokens = word_tokenize(string)
    alpha_string = [word.lower() for word in word_tokens if word.isalpha()]
    cleaned_string = [word.lower() for word in alpha_string if word.lower() not in stop_words]
    
    c = Counter(cleaned_string)
    total_freq = np.sum([c[i] for i in search_term.lower().split()])
    
    if total_freq == 0:
        return (0, 0)
    else:
        return " ".join(cleaned_string), total_freq

def parallel_clean_text(df_html, search_term):
    with ProcessPoolExecutor() as executor:
        # 批量提交任务到进程池
        futures = [executor.submit(clean_text, html, search_term) for html in df_html['html']]
        # 收集所有结果
        results = [future.result() for future in futures]
    return results

# 调用方式
cleaned_text = parallel_clean_text(df_html, search_term)

方案2：结合asyncio和进程池（如果必须用asyncio上下文） #

如果你的代码必须在asyncio框架里运行，可以用run_in_executor把CPU任务放到进程池执行：

import asyncio
from concurrent.futures import ProcessPoolExecutor

def clean_text(string, search_term):
    # 原同步函数逻辑不变
    stop_words = set(stopwords.words('english'))
    word_tokens = word_tokenize(string)
    alpha_string = [word.lower() for word in word_tokens if word.isalpha()]
    cleaned_string = [word.lower() for word in alpha_string if word.lower() not in stop_words]
    
    c = Counter(cleaned_string)
    total_freq = np.sum([c[i] for i in search_term.lower().split()])
    
    if total_freq == 0:
        return (0, 0)
    else:
        return " ".join(cleaned_string), total_freq

async def clean_text_async(string, search_term, executor):
    # 将同步CPU任务提交到进程池
    return await asyncio.get_running_loop().run_in_executor(
        executor, clean_text, string, search_term
    )

async def async_main_html(df_html, search_term):
    with ProcessPoolExecutor() as executor:
        tasks = [
            clean_text_async(html, search_term, executor)
            for html in df_html['html']
        ]
        results = await asyncio.gather(*tasks)
    return results

# 调用方式
cleaned_text = asyncio.run(async_main_html(df_html, search_term))

• 对于CPU密集型任务，多进程是最优解，每个进程有独立的Python解释器，能真正利用多核CPU提升速度。
• 只有当你的任务包含大量IO等待（比如先下载HTML再处理）时，asyncio的异步改造才会有明显效果，纯计算场景下asyncio帮不上忙。

内容的提问来源于stack exchange，提问作者jmoore00