Apache Camel实现Azure Blob跨存储文件传输可行性及报错优化咨询

可以明确，使用Apache Camel实现两个Azure Blob Storage之间的文件迁移是完全可行的，出现的报错属于特定版本组件的流处理逻辑问题，存在多种可避免内存压力的优化方案。

Stream mark expired异常根因是3.12.0版本的camel-azure-storage-blob组件在执行上传操作时，会主动读取输入流的长度，需要调用reset()方法重置流指针；而Azure SDK返回的StorageInputStream默认的mark有效期很短，当流内容超过内置缓冲区大小时，mark标记就会失效，最终抛出该异常。
将消息体转为byte[]的方案虽然解决了报错，但会把整个文件加载到JVM内存中，处理GB级以上大文件时很容易出现OOM问题，不适合生产环境使用。

以下提供三种优先级从高到低的方案，可根据实际业务场景选择：

方案1：使用Azure原生Blob拷贝能力（最优） #

如果两个存储账号之间可配置拷贝权限，直接调用Azure内置的copyBlob接口，文件拷贝完全在Azure服务端执行，不需要拉取数据到本地服务，零内存占用，性能最高。
示例路由：

from("azure-storage-blob://源存储账号/源容器?accessKey=xxx&blobName=int_1111.csv")
.setHeader("CamelAzureStorageBlobSourceBlobName", constant("int_1111.csv"))
.setHeader("CamelAzureStorageBlobSourceAccountName", constant("源存储账号"))
.setHeader("CamelAzureStorageBlobSourceContainerName", constant("源容器"))
.setHeader("CamelAzureStorageBlobSourceAccessKey", constant("源存储账号accessKey"))
.to("azure-storage-blob://目标存储账号/目标容器?accessKey=xxx&blobName=Outbound_$simple{date:now:yyyyMMdd_HHmmss}.csv&operation=copyBlob");

方案2：复用源Blob长度元数据，避免全量加载内存 #

如果无法使用服务端拷贝，可以直接复用从源Blob读取到的内容长度元数据，组件拿到长度后就不会再尝试重置流获取长度，不需要转byte[]，流会边读边上传，内存占用仅为缓冲区大小。
示例路由：

from("azure-storage-blob://源存储账号/源容器?accessKey=xxx&blobName=int_1111.csv")
// 直接复用源Blob返回的内容长度header，不需要自行计算
.setHeader("CamelAzureStorageBlobContentLength", header("CamelAzureStorageBlobContentLength"))
.to("azure-storage-blob://目标存储账号/目标容器?accessKey=xxx&blobName=Outbound_$simple{date:now:yyyyMMdd_HHmmss}.csv&operation=uploadBlockBlob&blobBlockSize=4194304");
// blobBlockSize参数可自定义分块大小，单位为字节，示例为4MB分块，超大文件可调整到更大值降低请求数

方案3：升级Camel版本 #

3.14.0及之后版本的camel-azure-storage-blob组件已经优化了流长度读取逻辑，原生支持StorageInputStream的处理，不需要额外配置，原有路由即可正常运行，也不会出现全量加载内存的问题。

• 处理10GB以上超大文件时，建议开启分块上传的同时配置并行上传参数parallelUploadBlocks=true，可大幅提升上传速度。
• 生产环境不建议在路由里硬编码accessKey，可使用Camel的属性配置或者Azure托管身份做鉴权，安全性更高。

内容的提问来源于stack exchange，提问作者reneesh_ur