SwiftyDropbox文件夹文件数超1000时调用Files.download无法启动问题

问题根因 #

你当前的写法是一次性触发所有缺失文件的下载请求，当文件数超过1000时，会触发三个层面的限制导致下载无响应：

• SwiftyDropbox底层依赖的网络库默认最大并发请求数远低于1000，超出的请求会被积压在队列中长时间等待，甚至直接超时被丢弃
• Dropbox API有明确的请求速率限制，短时间内发起上千次请求会直接被服务端限流拦截，不会返回响应
• iOS系统本身对同一域名的并发HTTP连接数有限制，超出的请求会被系统挂起无法发出

排查步骤 #

• 在下载请求的response回调外层、以及发起请求的位置分别加日志，确认是请求已经发起但无回调，还是压根没有走到发起请求的分支
• 触发下载后抓包查看是否有对应的HTTP请求发出，排除服务端限流的情况，如果收到429状态码就是被限流了
• 打印dbFileNameRevDict的元素总数，确认ListFolder逻辑没有重复获取文件、导致实际要下载的文件数远大于预期

解决方法 #

核心是实现带并发控制的下载队列，不要一次性发起所有请求，参考实现代码如下：

// 全局声明限并发的操作队列，最大并发数建议设为3-5，避免触发限流
private let downloadQueue = OperationQueue()
private let maxConcurrentDownloads = 4

static func downloadMissingFiles(client: DropboxClient, callingProcess: String) {
    let fileManager = FileManager.default
    let localBaseURL = fileManager.urls(for: .cachesDirectory, in: .userDomainMask)[0].appendingPathComponent("Cloud/Dropbox", isDirectory: true)
    
    // 先过滤出确实需要下载的文件列表
    let needDownloadFiles = Array(dbFileNameRevDict).filter { dbFiles in
        let fullURL = localBaseURL.appendingPathComponent(dbFiles.value)
        return !fileManager.fileExists(atPath: fullURL.path)
    }
    
    downloadQueue.maxConcurrentOperationCount = maxConcurrentDownloads
    downloadQueue.isSuspended = false
    
    // 把每个下载任务包装成Operation加入队列
    for dbFiles in needDownloadFiles {
        let dbFilePathLower = dbFiles.key
        let dbFileNameRev = dbFiles.value
        let fullURL = localBaseURL.appendingPathComponent(dbFileNameRev)
        
        let operation = BlockOperation {
            // 用信号量控制单个Operation等待异步下载完成再结束，避免队列直接放出所有请求
            let semaphore = DispatchSemaphore(value: 0)
            
            let destination : (URL, HTTPURLResponse) -> URL = { temporaryURL, response in
                return fullURL
            }
            
            client.files.download(path:dbFilePathLower, overwrite: true, destination: destination)
                .response { response, error in
                    if let (_, url) = response {
                        print("====> DOWNLOADED:\(url.lastPathComponent)")
                        localFileList.append(dbFileNameRev)
                    } else if let error = error {
                        print(error)
                        // 可自行添加失败重试逻辑
                    }
                    semaphore.signal()
                }
            semaphore.wait()
        }
        downloadQueue.addOperation(operation)
    }
    
    // 可选：监听所有下载完成的回调
    downloadQueue.addOperation {
        OperationQueue.main.addOperation {
            print("所有下载任务执行完成")
        }
    }
}

额外注意事项 #

• 之前你尝试的串行队列不生效，大概率是因为你只是把发起请求的代码放到了串行队列，但没有等待异步下载回调完成就结束了单次队列任务，本质还是一次性发起了所有请求，所以和并发触发没有区别
• 遇到429限流错误时，要在回调里读取响应头的Retry-After字段，等待对应时长后再重试，不要直接立刻重发
• 3-5的并发数是兼顾下载速度和避免触发限流的最优值，不要设置过大
• 如果下载过程中需要退出当前页面/终止下载，要调用downloadQueue.cancelAllOperations()清空队列，避免内存泄漏和后台无效请求

内容的提问来源于stack exchange，提问作者app4g