Spark能否基于Azure Blob分区Parquet创建重启可用的持久视图

报错是语法使用错误。Spark SQL的CREATE VIEW语法本身不支持USING + OPTIONS的格式直接挂载外部文件路径，这个语法段是CREATE TABLE的专属配置，所以解析器读到USING位置时会直接抛出语法不匹配的异常。
你之前能正常创建临时视图，是因为临时视图是会话级对象，本质是绑定了当前读取Parquet的DataFrame执行计划，会话销毁就失效；但持久化对象（视图/表）的元数据需要存储在持久化元存储中，语法规则和临时视图完全不同。

方案1：创建持久化外部Parquet表（最推荐，适配分区Parquet场景） #

这种方式和你预期的视图效果完全一致：不会额外存储数据，查询时直接读取Azure BLOB上的Parquet文件，元数据持久化在元存储中，集群重启后直接可用，对分区Parquet的兼容性最好。
注意路径不需要指向具体的.c000.snappy.parquet单个文件，直接指向Parquet数据集/分区的根目录即可，Spark会自动识别目录下所有合规的Parquet文件。
对应代码如下：

-- 建表语句，指向Parquet数据集根目录
CREATE TABLE IF NOT EXISTS test
USING parquet
OPTIONS (
  path "/mnt/folder/"
);

-- 如果是分区存储的Parquet，建表后执行以下命令自动识别路径下的全部分区
MSCK REPAIR TABLE test;

后续如果路径下新增了分区，只需要重新执行一次MSCK REPAIR TABLE test;即可加载新分区数据。

方案2：按正确语法创建持久视图 #

如果你必须使用视图而非外部表，需要把读取Parquet的逻辑写在AS后的子查询中，不能使用USING OPTIONS的写法：

CREATE VIEW IF NOT EXISTS test
AS
SELECT * FROM parquet.`/mnt/folder/`;

这种方式存在明显局限性：如果是分区Parquet，视图不会自动识别后续新增的分区，需要手动改写视图的查询逻辑追加分区路径，稳定性和易用性都不如外部表方案。

要保证集群重启后对象可以正常访问，必须满足两个前提：

• Spark集群关联的是持久化元存储（比如外置Hive Metastore、云Spark服务自带的持久化元存储），不能使用单机本地测试场景下的内存级临时元存储
• Azure BLOB的访问凭证、/mnt/路径的挂载配置是持久化的，集群重启后不需要重新配置凭证、重新挂载就能正常访问对应路径下的Parquet文件

内容的提问来源于stack exchange，提问作者bda