Databricks流式实时表创建失败：逗号未被识别为列分隔符

核心问题分析 #

报错本质是流式读取时CSV分割符未生效，Spark误将整行内容作为单列名（而第一行内容本身包含逗号），触发Hive元存储不允许列名含特殊字符的限制。普通表能正常工作是因为非流式读取的Schema推断逻辑更宽松，而流式读取对格式配置的明确性要求更高。

分步解决方法 #

1. 强制指定Schema与读取参数 #

流式读取必须明确配置CSV读取规则，不能依赖自动推断。手动定义Schema并指定header、分割符：

CREATE STREAMING LIVE TABLE your_streaming_table
AS SELECT * FROM cloud_files(
  "s3://your-target-bucket/csv-path/",
  "csv",
  map(
    "header", "true",
    "delimiter", ",", -- 或你实际使用的分号";"
    "inferSchema", "false",
    "schema", "id string, name string, amount double, created_at timestamp", -- 替换为你的实际列结构
    "multiline", "false" -- 禁用多行模式，避免跨行内容干扰分割
  )
)

• 手动Schema避免了Spark误将整行内容作为列名
• multiline=false确保每行都是独立记录，分割符能正确识别

2. 排查文件编码与格式问题 #

如果替换分割符后仍失效，检查S3上的CSV文件：

• 确保文件无BOM头（UTF-8 BOM会干扰Spark的分割符识别），可以用文本编辑器重新保存为无BOM的UTF-8格式
• 添加"encoding", "UTF-8"到cloud_files的参数map，强制指定编码

3. 验证流式读取的参数优先级 #

Databricks流式读取的部分参数优先级与非流式不同，确保没有全局配置覆盖了你的分割符设置。可以在管道配置中明确指定读取规则，而非依赖集群默认配置。

内容的提问来源于stack exchange，提问作者Piotr L