Java中如何将大SQL ResultSet直接流式传输至S3存储桶

针对你遇到的Vertica查询结果过大无法存入内存、需要直接流式导出CSV到S3的问题，除了手动分块上传，还有以下几种更高效的方案：

1. 用S3 SDK v2的TransferManager自动流式上传 #

AWS SDK v2的TransferManager已经支持无需预先知道总内容长度的流式上传，它会自动将数据流分割成符合S3要求的分块（默认5MB），当每个分块数据准备好时就发起上传，最后自动完成分段上传的合并。

示例代码（Java）：

// 初始化S3客户端和TransferManager
S3Client s3Client = S3Client.create();
TransferManager transferManager = TransferManager.builder()
    .s3Client(s3Client)
    .build();

// 从Vertica获取ResultSet
Connection conn = DriverManager.getConnection(verticaUrl, username, password);
Statement stmt = conn.createStatement();
ResultSet rs = stmt.executeQuery("SELECT * FROM large_table");

// 流式写入CSV并上传到S3
try (OutputStream s3OutputStream = transferManager.upload(
    UploadRequest.builder()
        .bucket("your-bucket")
        .key("output.csv")
        .build()
).result().outputStream()) {
    CSVWriter writer = new CSVWriter(new OutputStreamWriter(s3OutputStream));
    // 写入表头
    ResultSetMetaData metaData = rs.getMetaData();
    String[] headers = new String[metaData.getColumnCount()];
    for (int i = 0; i < headers.length; i++) {
        headers[i] = metaData.getColumnName(i+1);
    }
    writer.writeNext(headers);
    // 逐行写入结果
    while (rs.next()) {
        String[] row = new String[metaData.getColumnCount()];
        for (int i = 0; i < row.length; i++) {
            row[i] = rs.getString(i+1);
        }
        writer.writeNext(row);
        // 手动flush确保数据及时写入流，避免内存积压
        writer.flush();
    }
} finally {
    rs.close();
    stmt.close();
    conn.close();
    transferManager.close();
    s3Client.close();
}

这里通过TransferManager.upload()获取的OutputStream会自动对接S3的分段上传，无需手动管理分块大小和上传逻辑。

2. 直接用Vertica原生EXPORT TO S3功能 #

Vertica本身提供了原生导出到S3的SQL命令，完全不需要自己处理流式和上传逻辑，数据库会直接将查询结果流式写入S3的CSV文件，性能和稳定性更有保障。

执行以下SQL即可：

EXPORT TO CSV('s3://your-bucket/path/output.csv')
WITH (
    COMPRESSION='NONE', -- 可选，如需压缩可设为'GZIP'
    DELIMITER=',',
    HEADER='TRUE'
) AS
SELECT * FROM large_table;

前提是你的Vertica集群已经配置了S3访问权限（比如通过IAM角色、Access Key/Secret Key）。

3. 基于S3 SDK v2的社区流式上传库 #

如果不想自己处理TransferManager的细节，也可以选择基于SDK v2的社区维护库，这类库封装了流式上传逻辑，自动处理分块和上传，无需预先知道内容长度。不过优先推荐前两种方案，避免依赖第三方库带来的维护风险。

总结：不需要手动创建5MB批次，用SDK v2的TransferManager就能自动处理分块，或者直接用Vertica原生导出功能最省心。

内容的提问来源于stack exchange，提问作者HDW