如何在Java中读取指定目录结构的Azure Blob CSV、适配Spring Batch主从模式并解决路径问题？

一、Blob URI路径获取异常的修复 #

你原代码拿不到正确路径的核心原因和修正方法如下：

• 路径拼接规则错误：Azure Blob的“虚拟目录”本质是Blob名称的前缀，路径格式要求是连续字符串，不能在目录分隔符 / 前后加空格。你示例中带空格的dir1 / dir2 / dir3 /写法，会拼出和实际存储不匹配的Blob名称，自然无法拿到有效路径。
• 路径取值方式错误：cloudAppendBlob.getUri().getPath()返回的是带存储账户名、容器名的全链路路径，如果需要获取相对容器的Blob完整名称，不需要从URI中截取，直接调用cloudAppendBlob.getName()就能拿到1:1匹配的Blob全路径。
• 有效性校验：调用getAppendBlobReference()后，要先执行cloudAppendBlob.exists()方法确认Blob真实存在，如果返回false，说明你传入的Blob名称和实际存储的路径不一致，此时获取的URI是无效占位值。

修正后的示例代码：

// 按实际规则拼接Blob全路径，去掉分隔符前后的多余空格
String blobFullName = String.format("dir1/dir2/dir3/%s-%s.csv", monthStartDate, monthEndDate);
CloudAppendBlob targetBlob = container.getAppendBlobReference(blobFullName);
// 校验Blob存在
if (!targetBlob.exists()) {
    throw new IllegalStateException("目标Blob不存在：" + blobFullName);
}
// 获取带账户、容器前缀的完整URI路径
log.info("Blob全URI路径：{}", targetBlob.getUri().getPath());
// 获取相对容器的Blob名称路径
log.info("Blob相对容器路径：{}", targetBlob.getName());

注意：Blob的虚拟目录不是操作系统级的真实路径，不要尝试将该路径映射为本地可访问的文件系统路径，这也是传统本地文件读取逻辑无法直接适配的核心原因。

二、适配Azure Blob的Spring Batch主从模式实现 #

传统本地文件版的Spring Batch主从逻辑，核心是基于本地文件的随机访问拆分块，Worker直接读取本地文件对应块。适配Azure Blob不需要落地文件，只需要对以下三个环节做改造：

1. 自定义Blob资源实现，替代本地文件资源 #

实现Spring的Resource接口，内部直接对接Azure Blob的流式读取能力，完全去掉对本地文件系统的依赖：

public class AzureBlobResource implements Resource {
    private final CloudBlob targetBlob;
    public AzureBlobResource(CloudBlob targetBlob) {
        this.targetBlob = targetBlob;
    }
    @Override
    public InputStream getInputStream() {
        // 直接流式打开Blob，无本地落盘步骤
        return targetBlob.openInputStream();
    }
    // 其余接口方法可直接基于Blob元数据实现：getFilename返回Blob名称、contentLength返回Blob总字节大小、exists直接调用Blob的存在性校验
}

将原FlatFileItemReader中配置的FileSystemResource替换为上述自定义的AzureBlobResource，CSV解析逻辑不需要做任何修改——因为FlatFileItemReader本身是基于InputStream工作的，只要Resource能返回合法的输入流，就能正常解析CSV内容。

2. 基于Blob范围读取能力实现主从分片 #

利用Azure Blob原生的范围读取能力实现分片，不需要下载全量文件：

• Master节点逻辑：先查询目标Blob的总字节长度，按照设定的分片大小（如每片100MB）计算每个分片对应的字节区间（起始字节-结束字节），把区间值作为分片参数下发给各个Worker。
• Worker节点逻辑：拿到对应分片的字节区间后，打开Blob输入流时，直接跳过起始字节位置的内容，读取到结束字节位置就停止，每个Worker只处理自己负责区间内的CSV内容。
• 边界兼容处理：每个分片读取起始位置时，要先跳过第一行不完整的内容，直到遇到第一个完整的换行符再开始解析，避免把同一条CSV记录拆到两个分片里读取造成数据错乱。

3. 部署适配要点 #

• 不需要将Blob文件同步到各Worker节点的本地磁盘，每个Worker只需要配置Azure Blob的连接凭证，根据分配的字节区间远程读取Blob数据即可。
• 如果使用SAS签名访问Blob，要确保SAS权限包含Blob范围读取的权限，否则范围读取请求会被拒绝。
• 读取前要确认Blob的导出任务已经完全写入完成，避免读取到追加状态的不完整内容。

内容的提问来源于stack exchange，提问作者Arjun