从S3 Bucket加载数据至Databricks外部表失败求助

1. 修复SQL语法错误 #

你的代码存在两处语法问题：

• CREATE TABLE 定义完成后直接写 SELECT 无效，需用 CREATE TABLE ... AS SELECT 语法实现建表同时导入数据；
• 表结构定义中最后一列末尾的逗号需删除，SQL语法不允许列定义以逗号结尾。

2. 正确在SQL中引用S3路径变量 #

在Databricks的%sql魔法命令环境中，不能使用Python的f-string语法，要通过${变量名}引用已定义的Spark/Scala变量；同时Delta表的S3路径需要用反引号包裹，避免路径中的特殊字符导致解析失败。

3. 配置AWS凭证访问S3 #

要读取S3存储桶数据，推荐以下几种方式：

• 集群绑定IAM角色（最优方案）：给Databricks集群绑定拥有目标S3桶读写权限的IAM角色，无需在代码中配置凭证，集群会自动使用角色权限访问S3。
• 会话级临时配置凭证：在代码开头通过Spark配置临时设置AWS凭证（仅当前会话有效）：

  spark.conf.set("fs.s3a.access.key", "你的AWS_ACCESS_KEY")
  spark.conf.set("fs.s3a.secret.key", "你的AWS_SECRET_KEY")
  

• 凭证嵌入路径（不推荐）：可将凭证直接写入S3路径（格式如s3a://access_key:secret_key@bucket/path），但此方式会泄露敏感信息，仅适合临时测试场景。

修正后的完整代码示例 #

假设已通过集群角色或会话配置完成AWS凭证，修正后的SQL代码如下：

DROP TABLE IF EXISTS mydb.bigtable;
CREATE TABLE mydb.bigtable
(
 id BIGINT,
 string1 STRING,
 numbers BIGINT
) USING delta
LOCATION '/user/hive/warehouse/mydb'
AS SELECT * FROM delta.`${S3_dir}`;

若S3_dir是Python变量，需先将其注册为SQL可识别的变量：

spark.sql(f"SET S3_dir='{S3_dir}'")

内容的提问来源于stack exchange，提问作者Shaggy