将Azure Blob中.flib文件导入Databricks表的SQL代码报错排查

问题描述 #

需要将Azure Blob存储容器中后缀为.flib的文本文件导入到Azure Databricks的Delta表，表包含两列：

• SourceFileName：存储每个.flib文件的文件名
• File_Data：存储文件的文本内容字符串

原尝试代码存在语法逻辑错误，导致运行异常：

storage_account_name = "<my_account_name>"
storage_account_key = "<redacted>"
spark.conf.set(f"fs.azure.account.key.{storage_account_name}.blob.core.windows.net", storage_account_key)
container_name = "raw-flibs"

%sql
USE CATALOG "flib-dev";
USE beta;
DROP TABLE IF EXISTS flib_raw_data;
CREATE TABLE flib_raw_data 
USING delta
AS
SELECT
  SUBSTRING_INDEX(REVERSE(value), '/', 1) AS SourceFileName,
  value AS File_Data
FROM EXPLODE("wasbs://raw-flibs@<my_account_name>.blob.core.windows.net/raw_data/*.flib")
WHERE
  value LIKE '%.flib';

错误原因分析 #

1. EXPLODE函数误用：EXPLODE的作用是展开数组或映射类型的列，不能直接传入文件路径字符串，这是核心语法错误。
2. 未读取文件内容：原代码中的value只是传入的路径字符串，并非文件的实际文本内容。

正确实现方案 #

方案1：使用Databricks SQL内置read_files函数（推荐） #

read_files是Databricks SQL专门用于读取文件的函数，支持直接指定路径和格式，自动返回文件内容及元数据：

# 保留存储配置代码
storage_account_name = "<my_account_name>"
storage_account_key = "<redacted>"
spark.conf.set(f"fs.azure.account.key.{storage_account_name}.blob.core.windows.net", storage_account_key)

%sql
USE CATALOG flib-dev;
USE beta;
DROP TABLE IF EXISTS flib_raw_data;
CREATE TABLE flib_raw_data 
USING delta
AS
SELECT
  -- 从完整路径中提取文件名
  substring_index(input_file_name(), '/', -1) AS SourceFileName,
  -- content字段对应文件的文本内容
  content AS File_Data
FROM read_files(
  'wasbs://raw-flibs@<my_account_name>.blob.core.windows.net/raw_data/*.flib',
  format => 'text'
);

方案2：Spark API创建临时视图后用SQL查询 #

如果使用的Databricks版本不支持read_files，可以先通过Spark API读取文件并创建临时视图，再用SQL处理：

storage_account_name = "<my_account_name>"
storage_account_key = "<redacted>"
spark.conf.set(f"fs.azure.account.key.{storage_account_name}.blob.core.windows.net", storage_account_key)

# 读取所有.flib文件，创建临时视图
df = spark.read.text("wasbs://raw-flibs@<my_account_name>.blob.core.windows.net/raw_data/*.flib")
df.createOrReplaceTempView("flib_temp_view")

%sql
USE CATALOG flib-dev;
USE beta;
DROP TABLE IF EXISTS flib_raw_data;
CREATE TABLE flib_raw_data 
USING delta
AS
SELECT
  substring_index(input_file_name(), '/', -1) AS SourceFileName,
  value AS File_Data
FROM flib_temp_view;

问题排查思路 #

• 函数用途验证：遇到文件读取需求，优先使用Databricks官方提供的文件读取函数（如read_files）或Spark的文件读取API，避免误用数组/映射处理函数（如EXPLODE）。
• 路径有效性检查：确认存储账号、容器、文件路径配置正确，可通过dbutils.fs.ls("wasbs://...")命令验证是否能访问到目标文件。
• 字段含义确认：明确SQL函数返回的字段内容，比如input_file_name()返回文件完整路径，需要通过字符串处理提取文件名；content（或value）对应文件文本内容。
• 小批量测试：先读取单个文件验证逻辑正确性，再扩展到批量文件，减少排查范围。

内容的提问来源于stack exchange，提问作者hotmeatballsoup