用Spark SQL从字符串创建数据集

要使用Spark SQL从字符串创建数据集，可以按照以下步骤进行操作：

1. 导入必要的类和包：

import org.apache.spark.sql.{SparkSession, Row}
import org.apache.spark.sql.types.{StructType, StructField, StringType}

2. 创建SparkSession：

val spark = SparkSession.builder()
  .appName("Create Dataset from String")
  .master("local")
  .getOrCreate()

3. 定义数据集的模式（schema）：

val schema = StructType(Seq(StructField("name", StringType), StructField("age", StringType)))

4. 创建一个RDD（弹性分布式数据集），其中包含字符串数据：

val rdd = spark.sparkContext.parallelize(Seq(
  Row("Alice", "25"),
  Row("Bob", "30"),
  Row("Charlie", "35")
))

5. 使用SparkSession将RDD转换为数据集：

val dataset = spark.createDataFrame(rdd, schema)

6. 打印数据集的内容：

dataset.show()

完整的代码示例如下：

import org.apache.spark.sql.{SparkSession, Row}
import org.apache.spark.sql.types.{StructType, StructField, StringType}

val spark = SparkSession.builder()
  .appName("Create Dataset from String")
  .master("local")
  .getOrCreate()

val schema = StructType(Seq(StructField("name", StringType), StructField("age", StringType)))

val rdd = spark.sparkContext.parallelize(Seq(
  Row("Alice", "25"),
  Row("Bob", "30"),
  Row("Charlie", "35")
))

val dataset = spark.createDataFrame(rdd, schema)

dataset.show()

这样就可以使用Spark SQL从字符串创建数据集了。