Databricks创建表：如何忽略首行无效系统信息？

方案1：用CSV格式搭配skipRows参数 #

TEXT格式不支持跳过行的配置，换成CSV格式并指定跳过第一行，同时保留分隔符设置：

CREATE TABLE IF NOT EXISTS <tablename> 
USING CSV 
OPTIONS (
  delimiter '|',
  header 'false',
  skipRows '1'
) 
LOCATION <locationname>;

若正常行自带表头，后续可手动指定列名，或补充表头映射逻辑。

方案2：通过临时视图过滤首行后建表 #

如果skipRows参数不生效，先读取所有行，利用首行特征过滤掉系统信息：

-- 创建临时视图读取文件内容
CREATE OR REPLACE TEMP VIEW temp_data AS
SELECT * FROM text.`<locationname>`
-- 利用首行无|分隔符的特征过滤，正常行包含|分隔符
WHERE value LIKE '%|%';

-- 基于临时视图创建正式表
CREATE TABLE IF NOT EXISTS <tablename> AS
SELECT * FROM temp_data;

如果首行有固定特征字符串，也可以直接用WHERE value != '你的首行系统信息内容'精准过滤。

方案3：Spark DataFrame API处理（更灵活） #

用DataFrame读取时直接跳过首行，再写入目标表：

# 读取文件并跳过第一行
df = spark.read.option("delimiter", "|") \
               .option("skipRows", 1) \
               .csv("<locationname>")

# 将数据写入目标表（overwrite模式会覆盖已有表）
df.write.mode("overwrite").saveAsTable("<tablename>")

内容的提问来源于stack exchange，提问作者Caz