CDC管道中CosmosDB全保真分析存储字符串属性取值问题

问题确认 #

你的分析完全准确，这是CosmosDB MongoDB API在全保真（Full Fidelity）CDC模式下的特定行为：

• 全保真模式会保留源文档的BSON类型元数据，字符串类型会被封装在stringas结构中，但受CDC管道类型转换逻辑影响，会出现重复的属性条目（一个带实际值，一个为空）
• 数值类型（如zip）无需额外类型封装，所以能正常映射；而字符串属性的路径被元数据结构干扰，导致派生列无法正确定位有效值

访问字符串属性有效值的方法 #

针对该问题，有两种可靠的处理方式：

1. 用条件表达式定位有效值 #

在派生列转换中，使用coalesce函数优先取非空的stringas值：

coalesce(addresses[0].line1.stringas, addresses[0].line1.string)

如果是数组遍历场景，结合forEach或数组索引遍历，对每个元素应用该逻辑即可。

2. 调整CDC管道的类型处理配置 #

如果不需要保留全保真的BSON元数据，可以：

• 在CDC管道的源配置中关闭全保真模式，切换为标准模式，此时字符串会直接以原生string类型输出，无需额外处理
• 若必须保留元数据，可在CDC输出后添加一个JSON转换步骤，将嵌套的stringas结构扁平化，统一提取有效值

额外验证步骤 #

可以先通过测试查询确认有效值的路径：

SELECT c.addresses.line1.stringas, c.addresses.line1.string
FROM c
WHERE c.id = '<测试文档ID>'

执行后会明确看到哪个字段存储了实际字符串值，再对应调整派生列的映射路径。

内容的提问来源于stack exchange，提问作者Martin Smith