基于Apache Iceberg的AWS S3 Tables .NET适配库缺失及测试问询

当前问题背景 #

现有.NET应用通过Parquet.NET生成Parquet文件并上传至S3存储桶，计划测试AWS S3 Tables新功能，但官方要求通过Iceberg客户端直接与服务/表端点交互（而非上传对象），却找不到适配.NET的对应库。

可落地的临时解决方案 #

• 手动调用Iceberg REST API（结合AWS SDK签名）
  AWS S3 Tables基于Iceberg规范，可直接通过HTTP请求调用Iceberg REST API完成表操作：

  1. 用HttpClient构造符合Iceberg规范的请求体，比如创建表需包含schema、分区规则等信息。
  2. 借助AWS SDK for .NET中的Amazon.Runtime.Signing.IRequestSigner实现SigV4签名，确保请求被AWS授权。
  3. 发送请求到S3 Tables服务端点，处理响应结果。

• 通过.NET-Java互操作调用官方Iceberg客户端
  若项目允许，可利用IKVM等.NET-Java互操作工具，调用官方Java版Iceberg客户端库。需注意处理环境依赖与类型转换，适合临时测试场景。

• 以AWS Glue作为数据导入中间层
  保留现有Parquet文件上传S3的逻辑，再通过AWS Glue API将数据导入S3 Tables。此方式虽未直接调用Iceberg端点，但能快速验证S3 Tables功能，复用现有代码。

关键注意点 #

• 手动调用API需严格遵循Iceberg规范及AWS S3 Tables的特定要求，比如端点格式、参数结构。
• SigV4签名逻辑必须准确，否则会触发权限验证失败，可参考AWS官方文档中的签名实现细节。

内容的提问来源于stack exchange，提问作者smk081