Trino结合Hive目录：如何基于S3上未知Schema的Parquet文件建表？

以下几种方法可以帮你在Trino中创建对应S3上Parquet数据的表，无需预先知道Schema：

方法1：使用Trino内置的DESCRIBE FILE命令（Trino 350+版本支持） #

Trino支持直接读取Parquet文件的元数据获取Schema，步骤如下：

1. 运行命令读取Parquet文件的Schema：

DESCRIBE FILE 's3://your-bucket/path/to/parquet-directory/' FORMAT PARQUET;

注意：如果目录下有多个文件，指定单个样本文件路径即可，结果一致。

2. 命令会返回所有列名和对应数据类型，你可以直接基于这个结果编写CREATE TABLE语句：

CREATE EXTERNAL TABLE your_database.your_table (
  column1 type1,
  column2 type2,
  ...
)
WITH (
  format = 'parquet',
  external_location = 's3://your-bucket/path/to/parquet-directory/'
);

方法2：借助Spark自动推断Schema并同步到Hive元数据 #

利用Spark的Schema推断能力，将表元数据写入Hive元存储后，Trino即可直接识别该表：

1. 在Spark中读取Parquet数据并生成表：

// 初始化SparkSession时启用Hive支持
val spark = org.apache.spark.sql.SparkSession.builder()
  .appName("ParquetSchemaInfer")
  .enableHiveSupport()
  .getOrCreate()

// 读取S3上的Parquet数据，自动推断Schema
val df = spark.read.parquet("s3://your-bucket/path/to/parquet-directory/")

// 将表写入Hive元存储，指定数据库和表名
df.write.mode("ignore").saveAsTable("your_database.your_table")

2. 完成后直接在Trino中查询该表即可，Trino会从Hive元存储获取Schema信息。

方法3：通过Hive的LIKE PARQUET语法建表 #

如果你有权限操作Hive，可以利用Hive的自动Schema推断能力创建表，Trino同样可以直接使用：

1. 在Hive CLI或Beeline中运行以下命令：

CREATE EXTERNAL TABLE your_database.your_table
LIKE PARQUET 's3://your-bucket/path/to/parquet-directory/sample-file.parquet'
STORED AS PARQUET
LOCATION 's3://your-bucket/path/to/parquet-directory/';

说明：LIKE PARQUET会读取指定样本文件的Schema来创建表结构，确保样本文件能代表整个数据集的Schema。

内容的提问来源于stack exchange，提问作者IshitaV