You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Spark在Minikube(Helm部署)中collect方法执行超时未完成

问题:Minikube上Helm部署的Spark与Jupyter Notebook执行collect()无响应
  • 部署环境:Minikube集群,通过Helm部署Spark和Jupyter Notebook
  • 使用的Helm Chart:
    • PySpark Notebook Helm Chart
    • Bitnami Spark Helm Chart

已成功通过以下代码连接到Spark Master节点:

spark = SparkSession.builder.master("spark://my-release-spark-master-0.my-release-spark-headless.default.svc.cluster.local:7077").getOrCreate() 

但执行如下代码片段时,collect()方法耗时极久且始终无法完成:

nums= sc.parallelize([1,2,3,4])
squared = nums.map(lambda x: x*x).collect()
for num in squared:
    print('%i ' % (num))

内容的提问来源于stack exchange,提问作者Abhishek

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.07.21 14:05:11