Spark使用loadData时删除S3源文件。

在Spark使用load Data从S3读取数据时，S3源文件默认不会被删除。如果您发现文件被删除了，请检查您的代码是否有删除源文件的操作。

以下是一个示例代码，从S3读取数据并将其存储到本地文件系统中，而不会删除S3源文件：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("Read from S3 and store locally").getOrCreate()
s3_input_file = "s3://my_bucket/input/data.parquet"
local_output_folder = "/path/to/local/folder"

df = spark.read.load(s3_input_file)

df.write.format("parquet").save(local_output_folder)

spark.stop()

请注意，以上代码只是一个示例，并不能解决所有可能导致删除源文件的问题。再次强调，删除S3源文件是不被推荐的行为。