求下述Python Spark代码的Scala等价实现，解决代码报错问题

先理清楚你原PySpark代码的核心逻辑：咱们是要从text列里提取所有以@开头的有效用户名，步骤是拆词、扁平化、过滤短内容、筛选@开头、去掉@符号。

你写的Scala代码报错，核心问题是直接对DataFrame调用split方法——Scala里的DataFrame压根没这个方法，而且你对map的用法也错了，DataFrame的map是用来处理每行的Row对象的，不是直接操作整个DataFrame哦。

下面给你两种靠谱的实现方式，优先推荐DataFrame API，因为Spark对它的优化更好：

方式一：DataFrame API（推荐） #

这是最符合Spark最佳实践的写法，用内置的SQL函数来处理：

import org.apache.spark.sql.functions._

val men = df
  // 先把text列按空格拆分，再扁平化（对应Python的flatMap）
  .select(explode(split(col("text"), " ")).alias("word"))
  // 过滤掉空的或长度<=1的单词
  .filter(length(trim(col("word"))) > 1)
  // 只保留以@开头的单词
  .filter(col("word").startsWith("@"))
  // 去掉单词开头的@符号
  .select(regexp_replace(col("word"), "^@", "").alias("cleaned_username"))

方式二：RDD API（和原Python逻辑更匹配） #

如果你更习惯RDD的操作风格，也可以把DataFrame转成RDD来处理，逻辑和你原Python代码几乎一致：

val men = df
  .select("text")
  .rdd // 转成RDD[Row]
  // 把每行的text拆成单词并扁平化（对应flatMap）
  .flatMap(row => row.getString(0).split(" "))
  // 过滤掉长度<=1的单词
  .filter(word => word.trim.length > 1)
  // 筛选@开头的单词
  .filter(word => word.startsWith("@"))
  // 去掉开头的@符号
  .map(word => word.replaceFirst("^@", ""))

你的代码出错的原因 #

你写的df.map((df.select("text")) .split(" "))有两个关键问题：

1. df.select("text")返回的是一个DataFrame，不是单个字符串，所以根本不能直接调用split方法
2. DataFrame的map方法需要传入一个处理Row对象的函数，你这里的逻辑完全不符合这个要求

内容的提问来源于stack exchange，提问作者Saurabh