如何通过Databricks SQL API为无表头CSV定义Schema并加载至Delta表

针对无表头CSV文件加载到Delta表时的Schema定义需求，你可以通过以下两种方式实现：

方法一：预先创建带指定Schema的目标表 #

先定义好Delta表的列名和数据类型，再执行COPY INTO，数据会按列顺序自动匹配加载：

-- 创建指定Schema的Delta表
CREATE TABLE my_table (
  col1 INT,
  col2 STRING,
  col3 DOUBLE
) USING DELTA;

-- 加载无表头CSV数据
COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = CSV
FORMAT_OPTIONS ('header' = 'false') -- 声明源文件无表头
COPY_OPTIONS ('mergeSchema' = 'true');

方法二：在COPY INTO中直接指定Schema（无需预建表） #

通过FORMAT_OPTIONS的schema参数明确定义源数据的Schema，配合enforceSchema强制使用该定义，无需提前创建表：

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = CSV
FORMAT_OPTIONS (
  'header' = 'false',
  'schema' = 'col1 INT, col2 STRING, col3 DOUBLE', -- 自定义源数据Schema
  'enforceSchema' = 'true' -- 强制使用指定Schema，禁用自动推断
)
COPY_OPTIONS ('mergeSchema' = 'true');

关键注意点 #

• 必须设置'header' = 'false'，避免将CSV第一行数据误识别为表头。
• enforceSchema仅在搭配schema参数时生效，用于严格校验源数据与指定Schema的匹配性，不匹配则触发报错。
• 如果目标表已存在，COPY INTO会按指定Schema验证源数据，确保数据加载的一致性。

内容的提问来源于stack exchange，提问作者skolukmar