使用Microsoft.Azure.Databricks.Client外部链接返回结果不全问题

可能的原因与排查步骤 #

1. 验证查询上下文与一致性 #

• 确认.NET API执行的查询与Databricks SQL编辑器完全一致，包括表的完整限定名（如catalog.schema.myTable）、列名大小写、无额外过滤条件。
• 检查两次查询的时间窗口内，表myTable是否有数据变更（如插入、删除、更新），避免数据不一致导致结果差异。
• 对比两次查询的执行账号权限，确保.NET API使用的服务账号与编辑器账号拥有相同的表访问权限，且访问的是同一环境（如相同的Workspace、集群）。

2. 检查外部链接的结果文件完整性 #

• 手动下载result.Result.ExternalLinks中的链接文件，用工具（如Databricks UI、Parquet Viewer等）查看文件内的实际行数：
  • 如果文件内确实只有6504行，说明查询执行结果本身就与编辑器的count(distinct)不符，需进一步排查查询执行逻辑。
  • 如果文件内行数与count(distinct)结果一致（9000+），则问题出在.NET代码对文件的读取逻辑上。

3. 排查.NET代码的结果读取逻辑 #

• 确保读取外部链接文件时，完整获取了文件的全部内容，没有中途截断（例如HttpClient下载时未读取完整字节流）。
• 如果文件是Parquet/Delta格式，确认使用的.NET库（如Parquet.Net）正确解析了所有行，未设置分页、行数限制等参数。
• 检查是否存在数据类型解析错误：例如字符串列的特殊字符、大小写处理不一致，导致.NET端将不同值判定为重复，最终统计行数减少。

4. 对比查询执行计划 #

在Databricks SQL编辑器和.NET API中分别执行EXPLAIN SELECT DISTINCT oneColumn from myTable，对比执行计划是否一致：

• 若执行计划不同，说明两次查询的优化逻辑存在差异（如不同的集群配置、SQL版本），需调整.NET API的查询执行参数，对齐编辑器的执行环境。

关于外部链接的使用说明 #

Databricks的外部链接是将大结果集写入对象存储（如S3、ADLS）后返回的文件链接，每个链接对应一个结果分片。当结果集仅生成一个分片时，ExternalLinks仅包含一个链接，但该链接应包含完整的查询结果。你并未误解外部链接的使用方式，问题核心在于结果读取的完整性或查询执行的一致性。

内容的提问来源于stack exchange，提问作者Gargoyle