.NET 4.8框架下C#写入Parquet到AWS S3方法及AWSSDK.S3支持性咨询

一、关于AWSSDK.S3对.NET 4.8的支持 #

AWSSDK.S3完全支持.NET Framework 4.8，你在NuGet查询时大概率是筛选条件有误或查看了不兼容的版本分支。建议安装AWSSDK.S3 3.7.x及以上的稳定版本，这类版本明确标注支持.NET Framework 4.5.2及更高版本（包含4.8）。

二、实现步骤 #

1. 安装必要的NuGet包 #

需要三个核心包：

• AWSSDK.S3：用于S3存储操作
• Parquet.Net：处理Parquet文件的读写（主流库，支持.NET 4.8）
• AWSSDK.Core：AWS SDK核心依赖（通常随AWSSDK.S3自动安装）

可以在NuGet包管理器中搜索安装，或用Package Manager Console执行命令：

Install-Package AWSSDK.S3 -Version 3.7.200.10
Install-Package Parquet.Net -Version 4.12.0

2. 核心代码实现 #

步骤1：构造Parquet数据并写入内存流

无需生成本地文件，直接将Parquet数据写入内存流，为上传做准备：

using System.IO;
using Parquet;
using Parquet.Data;

// 定义Parquet的 schema
var schema = new Schema(
    new DataField<int>("Id"),
    new DataField<string>("Name"),
    new DataField<double>("Score")
);

// 准备待写入的数据列
var idColumn = new DataColumn(schema[0], new int[] { 1, 2, 3 });
var nameColumn = new DataColumn(schema[1], new string[] { "Alice", "Bob", "Charlie" });
var scoreColumn = new DataColumn(schema[2], new double[] { 90.5, 85.0, 92.3 });

// 将数据写入内存流
using var parquetStream = new MemoryStream();
using var writer = new ParquetWriter(schema, parquetStream);
using var rowGroupWriter = writer.CreateRowGroup();
rowGroupWriter.WriteColumn(idColumn);
rowGroupWriter.WriteColumn(nameColumn);
rowGroupWriter.WriteColumn(scoreColumn);

// 重置流位置到开头，否则上传会是空内容
parquetStream.Position = 0;

步骤2：配置S3客户端并上传流

using Amazon.S3;
using Amazon.S3.Transfer;

// 配置AWS客户端（生产环境请勿硬编码密钥，优先用IAM角色、环境变量或AWS配置文件）
var s3Client = new AmazonS3Client("你的AccessKey", "你的SecretKey", Amazon.RegionEndpoint.UsEast1);

// 上传内存流到S3指定位置
var transferUtility = new TransferUtility(s3Client);
await transferUtility.UploadAsync(
    parquetStream,
    "你的Bucket名称",
    "parquet-files/sample-data.parquet" // S3中的目标文件路径
);

Console.WriteLine("Parquet文件已成功上传到S3");

3. 关键注意事项 #

• 凭证安全：生产环境禁止硬编码AccessKey和SecretKey，优先使用服务器IAM角色、AWS配置文件（~/.aws/credentials）或环境变量。
• 流位置重置：上传前必须将MemoryStream的Position设为0，否则会上传空文件。
• 权限配置：确保AWS账号拥有目标S3 Bucket的PutObject权限。
• Schema匹配：Parquet的schema需与数据类型严格匹配，否则会写入失败。

内容的提问来源于stack exchange，提问作者jzl19