Spark使用wholeTextFiles获取行号zipWithIndex

使用wholeTextFiles方法读取文件并使用zipWithIndex方法获取行号的示例代码如下：

from pyspark import SparkContext

# 创建SparkContext对象
sc = SparkContext("local", "Example")

# 使用wholeTextFiles方法读取文件，返回一个元组列表，每个元组包含文件路径和文件内容
files = sc.wholeTextFiles("path/to/directory")

# 使用zipWithIndex方法为每行添加行号
lines_with_index = files.flatMap(lambda file: [(file[0], line) for line in file[1].split("\n")]).zipWithIndex()

# 打印每行的文件路径、行号和内容
lines_with_index.foreach(lambda line: print(f"File: {line[0][0]}, Line: {line[1]}, Content: {line[0][1]}"))

# 关闭SparkContext对象
sc.stop()

在上述示例中，首先创建了一个SparkContext对象。然后使用wholeTextFiles方法读取指定目录下的所有文件，返回一个元组列表，每个元组包含文件路径和文件内容。接下来使用flatMap方法将每个文件的内容拆分为行，并为每行添加行号。最后，使用foreach方法打印每行的文件路径、行号和内容。最后关闭SparkContext对象。

请注意，将代码中的"path/to/directory"替换为实际的文件目录路径。