CSV格式外部表无法自动刷新，如何实现自动更新？

默认情况下，Databricks的外部CSV表不会自动检测存储路径中新增的文件，这是因为表的元数据（包括文件列表）会被缓存，必须手动执行REFRESH TABLE才能更新。以下是几种可行的自动刷新方案：

1. 使用Auto Loader（推荐） #

Auto Loader是Databricks专门针对增量文件加载设计的功能，能自动发现云存储中的新增文件，无需手动干预，还能避免重复读取。

方式1：创建流式表 #

直接通过SQL创建支持自动刷新的流式表：

CREATE STREAMING TABLE OpenCSVSerde_CSV_Auto
USING CSV
LOCATION 'abfss://test@xxxxxxxxxxxxxx.dfs.core.windows.net/csvtabletest'
OPTIONS (
  cloudFiles.format = 'csv',
  header = 'true' -- 根据你的CSV文件是否有表头调整
);

方式2：通过Structured Streaming代码实现 #

如果需要更灵活的处理逻辑，可使用Python代码构建流处理管道：

# 定义表结构
schema = "id STRING, name STRING"

# 从存储路径增量读取文件
stream_df = spark.readStream \
  .format("cloudFiles") \
  .option("cloudFiles.format", "csv") \
  .option("header", "true") \
  .schema(schema) \
  .load("abfss://test@xxxxxxxxxxxxxx.dfs.core.windows.net/csvtabletest")

# 将增量数据写入目标表
stream_df.writeStream \
  .option("checkpointLocation", "/tmp/ocsv_checkpoint") -- 必须指定检查点路径，用于跟踪已处理文件
  .trigger(processingTime='1 minute') -- 设置检测间隔
  .table("OpenCSVSerde_CSV")

2. 配置表的自动刷新属性 #

针对部分场景，可在创建表时添加TBLPROPERTIES来开启自动刷新（注：该属性更适配Delta Lake表，CSV表需结合环境验证生效情况）：

CREATE EXTERNAL TABLE OpenCSVSerde_CSV (
  id STRING COMMENT 'from deserializer',
  name STRING COMMENT 'from deserializer'
)
USING CSV
LOCATION 'abfss://test@xxxxxxxxxxxxxx.dfs.core.windows.net/csvtabletest'
TBLPROPERTIES (
  'delta.autoRefresh.enabled' = 'true',
  'delta.autoRefresh.interval' = '5 minutes' -- 设置刷新间隔
);

3. 定时执行REFRESH TABLE命令 #

如果上述方案不适用，可通过Databricks Jobs创建定时任务，周期性执行刷新命令。例如设置每5分钟运行一次以下SQL：

REFRESH TABLE OpenCSVSerde_CSV;

关于spark.databricks.io.cache.enabled=false的说明 #

该配置控制的是文件系统层面的数据缓存，而非表的元数据缓存，因此无法解决外部表文件列表自动更新的问题。

内容的提问来源于stack exchange，提问作者Nikesh