在Kubernetes上运行Spark程序时，如何正确读取PVC中的文件？

1. 确认PVC挂载配置有效性 #

• 检查Helm values配置，确保worker.persistence和master.persistence已启用，且指定了正确的PVC名称与挂载路径（如/sparkdata）。
• 进入任意Worker Pod执行df -h，验证/sparkdata路径存在、NFS共享挂载正常，同时确认people.json确实在该路径下。

2. 使用集群内共享路径的正确格式 #

Spark读取集群共享存储文件时，需明确使用file://前缀指定绝对路径，代码修改如下：

from pyspark.sql import SparkSession
spark = SparkSession.builder.master("spark://<master-ip>:<master-port>").getOrCreate()
df = spark.read.json('file:///sparkdata/people.json')

3. 解决相对路径导致的资源调度警告 #

使用相对路径people.json时，Spark会尝试从Driver所在的本地机器读取文件，但Worker节点无法访问你的本地文件，导致任务无法分配。直接改用集群共享存储的绝对路径即可解决该警告。

4. 验证文件访问权限 #

• 进入Worker Pod执行ls -l /sparkdata/people.json，查看文件权限是否允许Spark进程（默认用户为spark）读取。
• 若权限不足，执行chmod 644 /sparkdata/people.json调整权限，或在PVC挂载配置中指定正确的权限参数。

内容的提问来源于stack exchange，提问作者mxcolin