连接Cosmos Table API后Databricks中$t/$v出现及视图查询异常问题

问题背景 #

通过Databricks连接Azure Cosmos Table API的代码如下：

Endpoint = "https://acccuntanme.documents.azure.com:443/"
MasterKey = "keyyyyy"

Cfg1 = {
  "spark.cosmos.accountEndpoint": Endpoint,
  "spark.cosmos.accountKey": MasterKey,
  "spark.cosmos.database": "TablesDB",
  "spark.cosmos.container": "Deals_Metainfo",
  "spark.cosmos.read.inferSchema.enabled" : "true"
}

df = spark.read.format("cosmos.oltp").options(**Cfg1) \
  .option("spark.cosmos.read.inferSchema.enabled", "true").load()
print(df.count())

读取数据后发现字段带有$t和$v后缀；随后创建新DataFrame并转换字段名：

df2= df.select("CreationDate.$v","$pk","filename.$v","Sno.$v","Status.$v") \
 .toDF("CreationDate","PrimaryKey","Filename","Sno","Status")

并生成临时视图v_filenames_data，但查询该视图的Status字段时无结果。以下针对两个问题进行解答：

1. 为何连接后会出现$t和$v字段？ #

Azure Cosmos Table API沿用了Azure Table Storage的属性存储模型，每个属性会以OData格式存储：

• $t：代表该属性的数据类型（如字符串、数字等）
• $v：代表该属性的实际值

Spark的Cosmos DB连接器读取Table API数据时，会直接解析这种底层存储结构，因此DataFrame中会呈现带$t和$v后缀的嵌套字段。

2. 视图查询Status无结果的原因及解决方法 #

可能原因 #

• 字段路径不匹配：原数据中Status字段的大小写、嵌套路径与代码中Status.$v不符（比如实际是status.$v或其他结构）
• 原数据无有效值：部分或全部记录的Status属性为空，甚至不存在该属性，导致转换后的Status字段全为空
• 视图创建异常：临时视图未正确生成，或生成后原DataFrame发生变动

解决方法 #

1. 验证原数据结构：执行df.printSchema()查看Status字段的实际嵌套结构，确认路径是否正确；再执行df.select("Status").show(10)查看原数据中Status的内容，判断是否有有效值。
2. 修正字段路径：如果是大小写或路径错误，调整select中的字段路径，比如原数据是小写status.$v，则修改为col("status.$v").alias("Status")。
3. 处理空值：如果部分记录缺失Status属性，用coalesce函数给空值设置默认值，示例代码：

   from pyspark.sql.functions import col, coalesce, lit
   
   df2= df.select(
       col("CreationDate.$v").alias("CreationDate"),
       col("$pk").alias("PrimaryKey"),
       col("filename.$v").alias("Filename"),
       col("Sno.$v").alias("Sno"),
       coalesce(col("Status.$v"), lit("未设置")).alias("Status")
   )
   

4. 重新创建视图：确保视图创建语句正确执行：

   df2.createOrReplaceTempView("v_filenames_data")
   

   之后用SELECT * FROM v_filenames_data WHERE Status IS NOT NULL验证是否能查到结果。

内容的提问来源于stack exchange，提问作者Jaya Prakash