PySpark无法访问扁平化列：原因排查与访问方法咨询

问题原因 #

PySpark默认会将包含点号（.）的字段名解析为嵌套结构体的层级访问（比如request.url会被理解为从request结构体中提取url字段），但你的DataFrame是已经被扁平化处理的，request.url是一个独立的顶层字段，并非嵌套结构。这种解析逻辑的冲突导致Spark无法识别该字段，抛出AnalysisException。

正确访问方式 #

方法1：用反引号包裹字段名 #

通过反引号（`）将带点号的字段名完整包裹，明确告诉Spark这是一个单一的顶层字段，而非嵌套访问：

# 两种写法均可
df.groupby(F.col("`request.url`")).count().sort(F.desc("count")).show(20, False)
# 或者直接使用字符串
df.groupby("`request.url`").count().sort(F.desc("count")).show(20, False)

方法2：重命名字段（简化后续操作） #

如果需要多次使用这类带特殊字符的字段，先给字段重命名为不含点号的名称，后续操作更简洁：

# 重命名带点字段
df_renamed = df.withColumnRenamed("request.url", "request_url")
# 直接使用新字段名操作
df_renamed.groupby("request_url").count().sort(F.desc("count")).show(20, False)

内容的提问来源于stack exchange，提问作者user2913139