使用Databricks SQL创建CSV表时无法推断架构的问题

可能原因与解决方案 #

1. 路径权限与Unity Catalog配置问题 #

当使用Unity Catalog时，直接使用abfss://完整路径可能存在权限限制，或是未通过Unity Catalog的**外部位置（External Location）**规范访问存储：

• 确认执行SQL的用户对目标abfss路径有读取权限，若用Unity Catalog管理外部表，需先创建对应外部位置并授予用户SELECT权限。
• 尝试改用PySpark中可用的挂载路径/mnt/lake2/RAW/devices.csv替换SQL中的abfss路径，验证是否能正常推断Schema：

  CREATE TABLE IF NOT EXISTS newtabletable 
  USING csv 
  OPTIONS (path "/mnt/lake2/RAW/devices.csv", inferSchema "true", header "true");
  

2. 手动指定Schema（最直接的解决方式） #

错误提示明确要求手动指定Schema，可通过PySpark先获取文件的Schema结构，再在SQL中定义：

• 先运行PySpark代码导出Schema：

  df = (spark.read      
    .option("header", "true")
    .option("inferSchema", "true")
    .csv('/mnt/lake2/RAW/devices.csv')
  )
  df.printSchema()
  

• 根据输出的Schema，在SQL中手动定义表字段：

  CREATE TABLE IF NOT EXISTS newtabletable (
    device_id INT,
    device_name STRING,
    timestamp TIMESTAMP,
    value DOUBLE
  )
  USING csv 
  OPTIONS (path "abfss://root@axxxxxadlsdev.dfs.core.windows.net/mnt/lake2/RAW/devices.csv", header "true");
  

  （注意替换为实际的字段名和数据类型）

3. 修正SQL参数格式 #

检查SQL中OPTIONS的参数值格式，确保inferSchema和header的取值为小写"true"，部分环境对参数大小写敏感：

CREATE TABLE IF NOT EXISTS newtabletable 
USING csv 
OPTIONS (path "abfss://root@axxxxxadlsdev.dfs.core.windows.net/mnt/lake2/RAW/devices.csv", inferSchema "true", header "true");

内容的提问来源于stack exchange，提问作者Patterson