Databricks中Spark SQL使用inline函数过滤Name列报错排查

Spark SQL 执行顺序为 FROM -> WHERE -> SELECT，WHERE 子句执行阶段仅能识别 FROM 源表（即 TableA）原生存在的列，无法读取 SELECT 阶段才计算生成的列。

• 你查询中用到的 inline() 是表生成函数，作用是把嵌套的结构体数组平铺展开为多行多列，name/id/age 三个字段是 SELECT 执行阶段才生成的输出列，WHERE 执行时这些列还未被解析，因此会报列不存在。
• 额外注意两个细节：一是你写的过滤字段是大写开头的 `Name`，但 inline 展开的字段为小写 name，Spark SQL 默认列名匹配大小写敏感，即使顺序正确也会匹配失败；二是 Spark SQL 中相等判断标准写法为单等号 =，虽然部分场景兼容双等号 ==，不推荐使用。

正确的过滤写法参考，用CTE先展开列再过滤：

%sql
WITH expand_result AS (
  SELECT inline(environment.details) FROM TableA
)
SELECT * FROM expand_result WHERE name = 'XYZ'

如果不需要展开数组里所有元素，也可以先过滤数组再展开，减少计算量：

%sql
SELECT inline(filter(environment.details, x -> x.name = 'XYZ')) FROM TableA

根据结果集大小和使用场景选对应方式即可：

• 小结果集（1万行以内）直接UI导出：查询运行完成后，结果面板右上角的下载按钮支持直接导出为CSV、Excel、JSON、TSV格式，操作最简单。
• 大结果集导出到存储：如果结果行数超过UI导出上限，先把查询结果写入DBFS或者工作区挂载的对象存储（ADLS、S3、OSS等）路径，再从存储侧下载文件，示例代码：

-- 将过滤后的结果写入目标存储路径，保存为带表头的CSV
CREATE OR REPLACE TEMP VIEW final_result AS
WITH expand_result AS (
  SELECT inline(environment.details) FROM TableA
)
SELECT * FROM expand_result WHERE name = 'XYZ';

COPY INTO 'dbfs:/export/task_result/csv'
FROM final_result
FILEFORMAT = CSV
FORMAT_OPTIONS ('header' = 'true', 'delimiter' = ',')
OVERWRITE = TRUE;

写入完成后可以在Databricks数据浏览器找到对应路径的文件下载，也可以通过Databricks CLI拉取到本地。

• 对接外部系统导出：如果需要把结果同步到其他分析工具，可以把查询逻辑保存为持久化视图，通过JDBC/ODBC驱动连接Databricks，直接在Tableau、Power BI等工具里拉取全量数据。

内容的提问来源于stack exchange，提问作者ZZZSharePoint