Databricks查询Delta表无结果问题求助

问题现象 #

• 执行以下SQL无结果返回：

select Name_of_the_data_field,value from db.servies where Name_of_data_field = 'provider'

• 换用value='test provider'作为查询条件时，能正常返回结果；但将返回的Name_of_the_data_field值复制后重新查询，仍无结果
• 部分其他字段值查询正常，已排除字段长度问题
• 该Delta表由「Excel文件转Pandas DataFrame后写入」的ETL流程生成

排查与解决步骤 #

1. 核对字段名拼写一致性 #

注意到首次查询的条件字段是Name_of_data_field，但SELECT子句使用的是Name_of_the_data_field——少了一个the，这很可能是拼写错误导致的无结果。
先执行语句确认表结构：

DESCRIBE db.servies;

核对字段名的完整拼写，同时注意Databricks默认开启大小写敏感，需确保条件中的字段名与表结构完全一致。

2. 排查字段值的隐形字符 #

Excel转Pandas过程中，可能引入前导/尾随空格、制表符、换行符等隐形字符，导致表面看起来匹配的字符串实际不相等。

• 先查看字段实际长度：

select Name_of_the_data_field, length(Name_of_the_data_field), value 
from db.servies where value='test provider';

对比查询结果中length(Name_of_the_data_field)与length('provider')的数值，若不一致则说明存在隐形字符。

• 尝试去除空格或模糊匹配查询：

-- 去除前后空格后匹配
select Name_of_the_data_field,value 
from db.servies where trim(Name_of_the_data_field) = 'provider';

-- 模糊匹配排查
select Name_of_the_data_field,value 
from db.servies where Name_of_the_data_field like '%provider%';

3. 检查字段类型匹配问题 #

Pandas写入Delta时，可能将字符串字段误识别为二进制、复杂类型等，导致字符串等值匹配失效。

• 查看字段的具体类型：

DESCRIBE EXTENDED db.servies Name_of_the_data_field;

• 若字段类型不是string，尝试转换类型后查询：

select Name_of_the_data_field,value 
from db.servies where cast(Name_of_the_data_field as string) = 'provider';

• 后续ETL流程中，显式指定字段类型后写入：

from delta.tables import DeltaTable
# 定义schema，确保目标字段为string类型
schema = "Name_of_the_data_field string, value string"
df.write.format("delta").mode("overwrite").schema(schema).saveAsTable("db.servies")

4. 排查分区表过滤异常 #

如果该Delta表是分区表，可能分区修剪逻辑导致目标数据未被扫描。可以临时关闭分区修剪测试：

set spark.sql.optimizer.dynamicPartitionPruning.enabled=false;
select Name_of_the_data_field,value from db.servies where Name_of_the_data_field = 'provider';

若关闭后能查到结果，说明ETL写入时的分区逻辑存在错误，需要调整分区字段或写入规则。

内容的提问来源于stack exchange，提问作者Alejandro Garcia Navarro