异步函数内Python循环性能低下：基于Pafy向Queue添加Song对象

看起来你在异步环境里用同步方式处理Pafy播放列表，这确实会拖慢整个流程——每一次获取歌曲数据、创建Song对象的操作都是同步阻塞的，会卡住异步事件循环，导致循环只能串行执行，速度自然上不去。下面给你几个针对性的优化思路和代码示例：

1. 用线程池并行处理歌曲数据获取 #

Pafy本身是同步库，没法直接异步调用，但我们可以用asyncio.to_thread（Python 3.9+支持）把每个歌曲的数据获取操作放到单独线程里，让它们并行执行，不阻塞异步事件循环。

修改后的代码示例：

import asyncio

async def process_playlist(playlist_url, queue, msg):
    playlist = pafy.get_playlist(playlist_url)
    
    async def process_single_item(item, counter):
        # 把同步的pafy对象获取和Song创建放到线程池
        s = await asyncio.to_thread(lambda: item["pafy"])
        song = Song.Song(
            s.watchv_url, msg.author.name, s.title, s.description,
            s.author, s.published, s.duration, s.likes, s.dislikes,
            s.viewcount, s.thumb
        )
        if await asyncio.to_thread(queue.add_song, song=song):
            print(f"Song {counter} finished")
        else:
            print(f"Song {counter} failed to add")
    
    # 收集所有任务，并行执行
    tasks = []
    for idx, item in enumerate(playlist["items"], start=1):
        tasks.append(process_single_item(item, idx))
    
    await asyncio.gather(*tasks)

核心逻辑是把每个歌曲的同步操作（获取pafy对象、添加到队列）丢到线程池，再用asyncio.gather并行执行所有任务，这样多个歌曲的数据可以同时获取，不用等前一个完成再处理下一个。

2. 减少不必要的字段请求 #

仔细检查你创建Song时用到的字段，有些字段（比如s.dislikes、s.description）可能是Pafy需要额外发送网络请求才能拿到的。如果业务逻辑里用不到这些字段，直接去掉它们，能减少每个歌曲的网络请求量，整体速度会明显提升。

3. 批量添加到队列（如果队列支持的话） #

如果你的Queue对象有批量添加的方法（比如add_songs），可以先把所有Song对象收集到列表里，再一次性批量添加，减少队列操作的次数，降低开销。示例如下：

async def process_playlist(playlist_url, queue, msg):
    playlist = pafy.get_playlist(playlist_url)
    
    async def create_song(item):
        s = await asyncio.to_thread(lambda: item["pafy"])
        return Song.Song(
            s.watchv_url, msg.author.name, s.title, s.description,
            s.author, s.published, s.duration, s.likes, s.dislikes,
            s.viewcount, s.thumb
        )
    
    # 并行创建所有Song对象
    songs = await asyncio.gather(*[create_song(item) for item in playlist["items"]])
    
    # 批量添加到队列
    success_count = 0
    if hasattr(queue, "add_songs"):
        success_count = queue.add_songs(songs)
        print(f"Added {success_count} songs to queue")
    else:
        # 如果不支持批量，再用线程池并行逐个添加
        tasks = [asyncio.to_thread(queue.add_song, song=song) for song in songs]
        results = await asyncio.gather(*tasks)
        success_count = sum(results)
        print(f"Added {success_count} songs to queue")

额外提示 #

如果你的Python版本低于3.9，没法用asyncio.to_thread，可以用loop.run_in_executor替代，效果一致：

loop = asyncio.get_running_loop()
s = await loop.run_in_executor(None, lambda: item["pafy"])

这样调整后，原本串行的同步操作变成了并行执行，不会再阻塞异步事件循环，播放列表的处理速度应该会有明显提升。

内容的提问来源于stack exchange，提问作者stego