能否使用dbt读取Delta Table？AWS EMR下如何读取S3中的表？

当然可以，以下是几种实用的实现方式：

1. 直接在dbt模型中引用S3路径 #

无需提前注册元数据，直接通过Spark原生语法在dbt的SQL模型中读取S3上的数据：

-- 读取Parquet格式数据
SELECT * FROM parquet.`s3://your-bucket/path/to/parquet-data/`

-- 读取CSV格式数据（带表头和自动推断Schema）
SELECT * FROM csv.`s3://your-bucket/path/to/csv-data/`
USING DELIMITER ','
OPTIONS(header='true', inferSchema='true')

这种方式适合临时查询或一次性数据读取场景。

2. 通过dbt外部模型将S3表注册到Data Catalog #

如果需要重复使用S3中的数据，可以用dbt的external模型类型，将S3路径注册为Data Catalog中的外部表，之后就能像普通表一样在dbt查询中引用：

示例模型文件（models/s3_external_table.sql） #

{{ config(
    materialized='external',
    location='s3://your-bucket/path/to/data/',
    format='parquet',
    external_location='s3://your-bucket/path/to/data/',
    options={
        'inferSchema': 'true'
    }
) }}

SELECT * FROM parquet.`s3://your-bucket/path/to/data/`

执行dbt run后，该表会被注册到你配置的Data Catalog数据库中，后续可通过{{ ref('s3_external_table') }}或数据库名.表名直接引用。

3. 确保EMR与S3的权限配置 #

• 为EMR集群的IAM角色附加S3访问权限（比如AmazonS3ReadOnlyAccess或更精细的桶级权限策略），保证集群能读取目标S3路径。
• 确认dbt的Spark连接配置正确指向EMR主节点，示例profile片段：

your_emr_profile:
  target: dev
  outputs:
    dev:
      type: spark
      method: thrift
      host: <emr-master-node-host>
      port: 10000
      schema: <default-schema-name>

额外注意事项 #

• Spark支持parquet、csv、json等多种格式，需根据数据格式选择对应前缀（如parquet.、csv.）。
• 对于分区存储的数据，Spark会自动识别分区列，可直接在查询中使用分区过滤提升性能。
• 复杂数据类型建议手动定义Schema，避免依赖inferSchema导致的性能损耗或类型推断错误。

内容的提问来源于stack exchange，提问作者Mattia Fazzi