Spark数据框架

下面是一个简单的示例，展示了如何使用Spark数据框架读取CSV文件并进行基本的数据操作：

# 导入必要的库
from pyspark.sql import SparkSession

# 创建SparkSession对象
spark = SparkSession.builder \
    .appName("Spark Dataframe Example") \
    .getOrCreate()

# 读取CSV文件并创建数据框架
df = spark.read.csv("path/to/file.csv", header=True, inferSchema=True)

# 显示数据框架的前几行
df.show()

# 查看数据框架的列名
print(df.columns)

# 查看数据框架的模式
df.printSchema()

# 进行基本的数据操作，如筛选、排序等
filtered_df = df.filter(df["age"] > 30)
sorted_df = df.orderBy(df["age"])

# 显示筛选后的数据框架
filtered_df.show()

# 显示排序后的数据框架
sorted_df.show()

# 关闭SparkSession对象
spark.stop()

在上述示例中，首先创建了一个SparkSession对象，然后使用read.csv方法读取CSV文件并创建一个数据框架。接下来，展示了如何显示数据框架的内容、查看列名和模式，并进行基本的数据操作，如筛选和排序。最后，关闭SparkSession对象。请注意，path/to/file.csv应替换为实际的CSV文件路径。