Spark在Minikube(Helm部署)中collect方法执行超时未完成
问题:Minikube上Helm部署的Spark与Jupyter Notebook执行collect()无响应
- 部署环境:Minikube集群,通过Helm部署Spark和Jupyter Notebook
- 使用的Helm Chart:
- PySpark Notebook Helm Chart
- Bitnami Spark Helm Chart
已成功通过以下代码连接到Spark Master节点:
spark = SparkSession.builder.master("spark://my-release-spark-master-0.my-release-spark-headless.default.svc.cluster.local:7077").getOrCreate()
但执行如下代码片段时,collect()方法耗时极久且始终无法完成:
nums= sc.parallelize([1,2,3,4]) squared = nums.map(lambda x: x*x).collect() for num in squared: print('%i ' % (num))
内容的提问来源于stack exchange,提问作者Abhishek
相关产品推荐
相关产品推荐

