Databricks执行COUNT(*) SQL语句报错：obj与字段长度不匹配

错误本质 #

报错[LENGTH_SHOULD_BE_THE_SAME] obj and fields should be of the same length, got 8 and 14说明表的元数据定义的字段数（14个）与实际存储的数据行包含的字段数（8个）不匹配，Spark在验证数据结构时无法对齐，导致任务失败。

排查步骤 #

1. 确认表的元数据字段数
   执行SQL查看表的结构，统计字段总数：

DESCRIBE table;

核对返回结果的字段数量是否为14个。

2. 验证实际数据的字段数
   抽样查看数据的实际结构，确认每行的字段数：

SELECT * FROM table LIMIT 5;

如果是无结构化数据源（如CSV/文本文件），可以用以下SQL统计每行的字段数量（分隔符需根据实际数据源调整）：

SELECT size(split(cast(* as string), ',')) AS field_count FROM table LIMIT 10;

解决方法 #

1. 修正表结构与数据源的一致性 #

• 外部表场景：
  • 若数据源字段数正确，修改表的DDL，删除多余字段或补充缺失字段，确保字段数匹配；
  • 若表定义正确，修复数据源文件，保证每行的字段数与表定义一致。
• Delta表场景：
  • 查看表的Schema变更历史：

    DESCRIBE HISTORY table;
    

  • 若存在错误的Schema变更，回滚到Schema正确的版本：

    RESTORE table TO VERSION AS OF <version_number>;
    

  • 或直接修改表Schema对齐数据：

    ALTER TABLE table DROP COLUMN <column_name1>, <column_name2>;
    -- 或添加缺失字段
    ALTER TABLE table ADD COLUMN <column_name> <data_type>;
    

2. 临时绕过Schema验证统计行数 #

如果只是需要快速获取行数，可直接读取表的元数据统计（仅适用于Delta表）：

SELECT properties.numRecords FROM delta.`/path/to/your/table`;

或使用更低层级的读取方式避免Schema验证：

SELECT count(1) FROM delta.`/path/to/your/table`;

内容的提问来源于stack exchange，提问作者No Name