如何通过Athena查询S3上多CSV文件并关联查询导出结果？

完全可以实现，最便捷的方式是使用Amazon Athena——AWS提供的无服务器交互式查询服务，直接针对S3上的CSV文件执行SQL查询，包括多表关联操作。以下是具体步骤：

1. 创建Athena数据库 #

登录AWS控制台进入Athena服务，在查询编辑器中执行以下语句创建专属数据库：

CREATE DATABASE IF NOT EXISTS s3_csv_db;

2. 为每个CSV文件创建外部表 #

Athena需要通过外部表映射S3上的CSV文件结构。假设你有users.csv和orders.csv两张表，分别存储用户信息和订单数据，示例建表语句如下：

针对users.csv的建表语句： #

CREATE EXTERNAL TABLE IF NOT EXISTS s3_csv_db.users (
  id INT,
  name STRING,
  email STRING
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
  'serialization.format' = ',',
  'field.delim' = ','
)
LOCATION 's3://your-bucket-name/path/to/users-folder/'
TBLPROPERTIES ('has_encrypted_data'='false', 'skip.header.line.count'='1');

针对orders.csv的建表语句： #

CREATE EXTERNAL TABLE IF NOT EXISTS s3_csv_db.orders (
  order_id INT,
  user_id INT,
  amount DECIMAL(10,2)
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
  'serialization.format' = ',',
  'field.delim' = ','
)
LOCATION 's3://your-bucket-name/path/to/orders-folder/'
TBLPROPERTIES ('has_encrypted_data'='false', 'skip.header.line.count'='1');

• 替换your-bucket-name和对应的文件路径为实际值
• 如果CSV文件第一行是表头，设置skip.header.line.count='1'；无表头则设为0
• 若CSV包含带引号的字段（比如字段值里有逗号），将SERDE替换为org.apache.hadoop.hive.serde2.OpenCSVSerde以兼容格式

3. 编写多表关联查询语句 #

在Athena查询编辑器中，使用标准SQL进行关联查询，例如查询消费金额超过100的用户及其订单：

SELECT u.id, u.name, o.order_id, o.amount
FROM s3_csv_db.users u
INNER JOIN s3_csv_db.orders o 
  ON u.id = o.user_id
WHERE o.amount > 100;

执行语句后即可直接查看关联后的结果集。

4. 将查询结果导出为CSV到S3 #

• 在Athena控制台的“设置”中，指定一个S3存储桶路径（可与源文件同桶或不同桶），用于保存查询结果
• 执行查询后，Athena会自动将结果导出到你指定的路径，生成后缀为.csv的结果文件（同时会生成元数据文件，仅需保留CSV文件即可）
• 若需批量导出，也可使用INSERT INTO语句将结果写入指定的S3路径，但直接利用Athena自带的结果导出功能更简便

注意事项 #

• 确保Athena与S3桶处于同一AWS区域，避免跨区域数据传输费用
• 配置IAM角色，赋予Athena访问目标S3桶的读写权限
• 若CSV文件较大，Athena会自动并行处理，无需额外配置集群

内容的提问来源于stack exchange，提问作者pray