在Databricks中遇‘DataFrame’无‘show’等属性错误的求助

我在Databricks笔记本中操作DBFS上的本地CSV文件时，执行查看数据、修改DataFrame列类型等任意命令，都触发'DataFrame' object has no attribute相关错误。相关数据类型、DataFrame信息及数据样本如下：

• 数据类型信息：
• DataFrame详情：
• 数据样本：

常见原因及解决办法 #

1. 混淆PySpark与Pandas DataFrame API #

Databricks中通过spark.read.csv读取的是PySpark DataFrame，若误用Pandas的API操作就会报错。比如Pandas的astype()方法在PySpark中不存在，需用withColumn+cast()替代。

• 先确认DataFrame类型：执行type(df)，若输出为<class 'pyspark.sql.dataframe.DataFrame'>，使用PySpark对应API：
  • 查看数据：df.show() 或 df.limit(10).display()（Databricks原生可视化推荐）
  • 修改列类型（示例：将age列转为整数型）：

    from pyspark.sql.types import IntegerType
    df = df.withColumn("age", df["age"].cast(IntegerType()))
    

  若为Pandas DataFrame，需确保通过pd.read_csv("/dbfs/path/to/file.csv")读取，操作时使用Pandas API。

2. 变量名冲突覆盖DataFrame对象 #

若你定义过与DataFrame方法同名的变量（如df = "test"），后续调用df.show()这类方法时就会触发属性错误。

• 排查：执行print(df)或type(df)确认变量类型，重新正确读取数据：

  # 重新读取CSV为PySpark DataFrame
  df = spark.read.csv("/dbfs/your/file/path.csv", header=True, inferSchema=True)
  

3. API拼写错误或使用不存在的属性 #

比如把df.show()写成df.shwo()，或误用PySpark DataFrame不支持的方法（如Pandas的df.info()，PySpark需用df.printSchema()替代）。

• 解决：对照PySpark官方API文档确认方法，或在Databricks中执行help(df)查看当前DataFrame的可用属性。

4. CSV读取参数配置错误 #

若读取时未指定header=True，列名会被自动命名为_c0、_c1等，此时用原业务列名操作会间接引发错误。

• 读取时指定正确参数：

  df = spark.read.csv(
      "/dbfs/path/to/your.csv",
      header=True,  # 将第一行设为列名
      inferSchema=True,  # 自动推断列数据类型
      sep=","  # 根据实际CSV分隔符调整
  )
  

内容的提问来源于stack exchange，提问作者mike_mussini