Java使用azure-storage-blob如何分批拉取Blob列表避免超时

listBlobs方法的第二个Duration类型参数是全量Blob枚举操作的全局超时，不是单次分页请求的超时。只要拉取全量Blob的总耗时超过你设置的阈值，哪怕中间分页请求全部正常，也会抛出你遇到的TimeoutException。传入null时无全局超时限制，所以代码可以正常运行。

直接使用Azure Blob SDK封装好的分页懒加载API，不需要手动处理continuationToken的拼接传递逻辑，拉取完单页数据就可以立刻送入后续流程，完全不需要等待全量Blob拉取完成。

代码实现（Java 8兼容） #

import com.azure.core.http.rest.PagedIterable;
import com.azure.core.http.rest.PagedResponse;
import com.azure.core.http.netty.NettyAsyncHttpClientBuilder;
import com.azure.core.http.HttpClient;
import com.azure.storage.blob.BlobContainerClient;
import com.azure.storage.blob.BlobServiceClient;
import com.azure.storage.blob.BlobServiceClientBuilder;
import com.azure.storage.blob.models.BlobItem;
import com.azure.storage.blob.models.ListBlobsOptions;
import java.time.Duration;

public class BlobBatchProcess {
    public static void main(String[] args) {
        // 1. 配置单请求超时，不要在listBlobs层面设置全局超时
        HttpClient httpClient = new NettyAsyncHttpClientBuilder()
                .responseTimeout(Duration.ofSeconds(3)) // 单页请求响应超时设3s，足够覆盖单页拉取耗时
                .build();

        BlobServiceClient serviceClient = new BlobServiceClientBuilder()
                .connectionString("your-connection-string")
                .httpClient(httpClient)
                .buildClient();
        BlobContainerClient containerClient = serviceClient.getBlobContainerClient("your-container-name");

        // 2. 配置分页参数
        ListBlobsOptions listOptions = new ListBlobsOptions()
                .setPrefix("your-prefix")
                .setMaxResultsPerPage(100); // 单页拉取数量，根据后续批处理的吞吐量调整，比如设10就是每10个一批

        PagedIterable<BlobItem> blobPagedList = containerClient.listBlobs(listOptions, null);

        // 3. 逐页懒加载迭代，拉完一页立刻处理，不会预加载全量数据
        for (PagedResponse<BlobItem> currentPage : blobPagedList.iterableByPage()) {
            // 当前页数据拉取完成，直接送入后续处理流程
            for (BlobItem blob : currentPage.getValue()) {
                // 单条Blob处理逻辑
                System.out.println("处理Blob: " + blob.getName());
            }

            // 如需断点续传，持久化当前页的continuationToken即可
            String continuationToken = currentPage.getContinuationToken();
            // 下次重启可直接调用 blobPagedList.iterableByPage(continuationToken) 从中断位置继续拉取
        }
    }
}

关键配置说明 #

• 禁止在listBlobs第二个参数位置传入短超时：该参数管控的是全量枚举的总耗时，Blob数量大时必然超时，分批处理场景直接传null即可。
• 单请求超时统一在HTTP客户端层面配置：只管控单次分页请求的响应时间，避免单页请求卡住，不会因为全量拉取耗时长触发异常。
• setMaxResultsPerPage按需调整：参数值和后续批处理的批次大小保持一致即可，SDK拉满指定数量的Blob后会立刻返回当前页，不会等待后续页加载。
• 分页逻辑无需手动实现：iterableByPage()方法内部已经自动处理了continuationToken的传递，只有迭代到下一页时才会发起新的拉取请求，内存占用不会随Blob总数量上涨。
• 断点续拉能力开箱即用：处理完每一页后持久化对应的continuationToken，下次启动直接传入token即可从上次中断位置继续遍历，不需要从头拉取。

内容的提问来源于stack exchange，提问作者Oleksii Zhurko