Databricks社区版Python加载CSV后无法识别Hospital列的问题排查
CSV加载后列名识别报错解决
报错根因
报错提示无法解析Hospital列,给出的输入列列表将全部7个字段名用分号连接为一整串,本质是CSV加载环节的分隔符配置错误:
这类西语地区生成的CSV文件默认使用分号作为字段分隔符,Databricks自动识别时默认采用了逗号作为分隔符,导致整行内容没有被拆分为独立列,所有字段名被拼接成了单个超长列名,自然无法单独匹配Hospital字段。
分步操作指南
- 先验证当前DataFrame的实际列结构
执行df.printSchema(),即可确认当前数据集确实只有1个由全字段名拼接成的单列,不存在独立的Hospital列。 - 重新加载CSV,修正读取配置
加载时显式指定分号作为字段分隔符,搭配表头识别、编码适配参数,避免自动识别的偏差;如果是通过Databricks可视化上传自动生成的加载代码,需要检查代码里的sep配置,把默认的逗号参数替换为分号即可。参考代码:df = (spark.read .format("csv") .option("header", "true") .option("sep", ";") .option("encoding", "UTF-8") .load("你的CSV文件对应的DBFS路径")) - 加载完成后校验列结构
执行df.columns确认列已被正确拆分为7个独立字段;如果列名存在首尾不可见的空格,可通过以下代码清洗列名:df = df.toDF(*[col_name.strip() for col_name in df.columns]) - 执行目标统计逻辑
列结构校验通过后,即可正常运行统计代码:- 统计数据集总行数:
print("数据集总行数: " + str(df.count())) - 统计不同Hospital的数量:
print("Número de hospitales distintos: " + str(df.select("Hospital").distinct().count()))
- 统计数据集总行数:
内容的提问来源于stack exchange,提问作者Robert
相关产品推荐
相关产品推荐

