使用concurrent.futures实现双列表参数多线程下载的问题求助

1. 变量作用域错误 #

你最开始的get_file函数中直接使用了s（requests会话对象）、song_filename_list、song_link_list三个变量，这些都是download函数内部的局部变量，在get_file的作用域中根本无法访问，执行时会直接抛出未定义变量的异常。
而多线程任务抛出的异常默认不会主动打印到主进程控制台，必须手动捕获或者获取任务返回结果才能看到错误，所以你看不到任何报错信息。

2. executor.submit传参逻辑错误 #

你第一次调用executor.submit(get_file, x)时，传入的x是所有索引组成的完整列表，但get_file预期接收的是单个索引值。
执行时get_file内部的song_link_list[x]会尝试用列表作为下标取值，直接触发类型错误，同样因为线程异常未捕获没有任何提示。

3. executor.map的两个核心错误 #

编辑1中使用executor.map的写法存在两个问题：

• 传参不匹配：你传入了zip(song_filename_list, song_link_list)作为参数，zip生成的每个元素是（文件名, 下载链接）的二元组，executor.map会把二元组作为单个参数传给get_file，和get_file预期的参数格式不匹配，触发参数错误。
• 未触发任务执行：executor.map返回的是惰性迭代器，只有你主动遍历这个迭代器的时候，里面的任务才会实际启动执行。你只调用了方法但没有遍历返回值，所以所有任务都没有被触发，自然看不到get_file里的打印。

4. 可用版本的可优化点 #

你最后调试出的可用版本虽然能跑，但存在性能浪费：你在for循环内部每次创建新的ThreadPoolExecutor，并且每次只提交1个任务，本质还是串行下载，没有发挥多线程的优势。
优化写法参考：

def download(song_filename_list, song_link_list):
    with requests.Session() as s:
        login_request = s.post(login_url, data= payload, headers= headers)
        # 只创建一次线程池，一次性提交所有任务
        with concurrent.futures.ThreadPoolExecutor() as executor:
            # 遍历索引，提交所有任务
            tasks = [executor.submit(get_file, song_filename_list, song_link_list, i, s) for i in range(len(song_filename_list))]
            # 等待所有任务完成，同时捕获异常
            for task in concurrent.futures.as_completed(tasks):
                # 调用result()会把线程内的异常抛到主线程，方便排查问题
                task.result()

内容的提问来源于stack exchange，提问作者Code Enjoyer