使用boto3结合多线程Tkinter进度条实现S3文件上传遇阻

核心问题根源 #

你的问题主要出在两个点：

• 上传线程直接操作GUI组件：customtkinter/ttk的GUI元素仅允许在主线程更新，子线程直接修改会导致界面卡死或回调异常中断
• boto3回调的进度数据未正确传递到主线程，线程间通信缺失导致进度条无法正常更新

具体修复方案 #

1. 用队列实现线程间安全通信 #

子线程（AsyncUpload）不能直接更新进度条，需把进度数据放入queue.Queue，由主线程定期读取并更新UI。

示例代码修改：

import queue
import os
import customtkinter as ctk
from tkinter import ttk
import boto3
from threading import Thread

class AsyncUpload(Thread):
    def __init__(self, file_path, bucket_name, s3_key, progress_queue):
        super().__init__()
        self.file_path = file_path
        self.bucket_name = bucket_name
        self.s3_key = s3_key
        self.progress_queue = progress_queue
        self._stop_flag = False

    def stop_upload(self):
        self._stop_flag = True

    def run(self):
        # 子线程内初始化S3客户端，避免主线程IO阻塞
        s3_client = boto3.client('s3')
        try:
            s3_client.upload_file(
                self.file_path,
                self.bucket_name,
                self.s3_key,
                Callback=ProgressPercentage(self.file_path, self.progress_queue, self._stop_flag)
            )
        except Exception as e:
            self.progress_queue.put(('error', str(e)))

class ProgressPercentage:
    def __init__(self, filename, progress_queue, stop_flag):
        self._filename = filename
        self._total_size = float(os.path.getsize(filename))
        self._uploaded = 0
        self._progress_queue = progress_queue
        self._stop_flag = stop_flag

    def __call__(self, bytes_sent):
        if self._stop_flag:
            raise Exception("上传已终止")
        self._uploaded += bytes_sent
        progress = (self._uploaded / self._total_size) * 100
        # 将进度数据放入队列，而非直接操作GUI
        self._progress_queue.put(('progress', progress))

2. 主线程定期读取队列更新UI #

在GUI类中添加队列监听函数，用after()方法循环调用，确保所有UI操作在主线程执行：

class S3UploadGUI(ctk.CTk):
    def __init__(self):
        super().__init__()
        self.progress_queue = queue.Queue()
        self.progress_bar = ttk.Progressbar(self, mode='determinate', length=300)
        self.progress_bar.pack(pady=20)
        # 启动队列监听
        self._check_progress()

    def _check_progress(self):
        while not self.progress_queue.empty():
            msg_type, data = self.progress_queue.get()
            if msg_type == 'progress':
                self.progress_bar['value'] = data
                self.update_idletasks()  # 强制刷新UI，避免未响应
            elif msg_type == 'error':
                ctk.CTkMessageBox(self, title="上传失败", message=data).show()
        # 每100毫秒检查一次队列
        self.after(100, self._check_progress)

    def start_upload(self):
        # 示例：替换为实际选择的文件、桶名、S3键
        file_path = "/path/to/your/file"
        bucket_name = "your-s3-bucket"
        s3_key = "uploaded-file-name"
        self.upload_thread = AsyncUpload(file_path, bucket_name, s3_key, self.progress_queue)
        self.upload_thread.start()

3. 解决大文件上传未响应问题 #

• 确保所有耗时操作（S3客户端初始化、文件上传）都放在子线程，主线程只处理UI事件
• 调整boto3分块参数，让大文件分块上传更平滑：

from botocore.config import Config

# 在AsyncUpload的run()方法内初始化客户端时添加配置
s3_client = boto3.client('s3', config=Config(
    multipart_threshold=5*1024*1024,  # 5MB以上自动分块
    multipart_chunksize=2*1024*1024,  # 每个分块2MB，提升回调频率
    max_pool_connections=10
))

4. 修复回调仅触发三次的问题 #

• 如果文件小于boto3默认分块阈值（8MB），upload_file会用单请求上传，回调触发次数极少。通过上述multipart_threshold参数设置更小的值（比如1MB），强制分块上传，即可让回调频繁触发
• 确保ProgressPercentage中的进度计算用浮点型，避免整数除法导致进度不更新

额外优化点 #

• 添加上传终止功能：给GUI加取消按钮，点击时调用self.upload_thread.stop_upload()
• 上传前后禁用/启用按钮：避免重复触发上传，提升用户体验
• 进度条百分比显示：添加标签，实时显示当前上传百分比

内容的提问来源于stack exchange，提问作者mvolaric