如何通过Athena向AWS S3存储桶插入二进制数据及DBEaver操作咨询

Athena本身不直接处理本地文件上传，但可通过以下流程实现将二进制数据写入S3：

• 步骤1：创建映射S3路径的Athena表，定义BINARY类型字段
  以Parquet（二进制列式存储格式）为例，创建存储二进制内容的表：

  CREATE EXTERNAL TABLE IF NOT EXISTS binary_data_store (
      file_name STRING,
      binary_content BINARY
  )
  STORED AS PARQUET
  LOCATION 's3://your-bucket/path/to/binary-data/';
  

• 步骤2：插入二进制数据到表中
  • 从现有数据源提取二进制数据插入：

    INSERT INTO binary_data_store
    SELECT file_name, binary_content FROM source_table WHERE condition;
    

  • 导入本地二进制文件内容：先将文件内容转成Base64编码，再用FROM_BASE64函数转换为BINARY类型插入：

    INSERT INTO binary_data_store
    VALUES ('example.bin', FROM_BASE64('base64-encoded-binary-content'));
    

• 步骤3：验证结果
  查询表确认数据写入，同时可到S3对应路径查看生成的二进制文件：

  SELECT file_name, LENGTH(binary_content) FROM binary_data_store;
  

前提：已完成DBEaver的Athena驱动配置（含AWS凭证、区域、S3输出路径），且能查询S3对象。

2.1 插入二进制编码CSV文件到S3 #

此处的二进制编码CSV指内容含Base64格式二进制字段的CSV文件，实现步骤如下：

• 步骤1：创建映射CSV源文件路径的Athena表

  CREATE EXTERNAL TABLE IF NOT EXISTS csv_binary_import (
      file_name STRING,
      base64_content STRING
  )
  ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
  WITH SERDEPROPERTIES (
      'serialization.format' = ',',
      'field.delim' = ','
  )
  LOCATION 's3://your-bucket/path/to/csv-source/'
  TBLPROPERTIES ('has_encrypted_data'='false');
  

• 步骤2：创建存储二进制数据的目标表（映射目标S3路径）

  CREATE EXTERNAL TABLE IF NOT EXISTS target_binary_store (
      file_name STRING,
      binary_content BINARY
  )
  STORED AS PARQUET
  LOCATION 's3://your-bucket/path/to/target-binary/';
  

• 步骤3：在DBEaver中执行转换插入语句
  将CSV中的Base64编码转成二进制写入目标S3路径：

  INSERT INTO target_binary_store
  SELECT file_name, FROM_BASE64(base64_content) FROM csv_binary_import;
  

  若需导入本地CSV文件，可使用DBEaver的「导入数据」功能，将文件字段映射到csv_binary_import表后，再执行上述语句。

2.2 使用Athena驱动查询现有S3存储桶 #

• 查询已建映射表的S3对象：直接执行SELECT语句即可

  SELECT * FROM existing_s3_table LIMIT 10;
  

• 临时查询未建表的S3对象：使用Athena的S3Object语法直接解析文件

  SELECT * FROM S3Object('s3://your-bucket/path/to/object.csv', 'csv') LIMIT 10;
  

  需指定文件格式（如csv、json），Athena会自动解析内容。

内容的提问来源于stack exchange，提问作者srinivasa rao