E-MapReduce
E-MapReduce
E-MapReduce
文档指南
请输入
产品动态与公告
产品动态
EMR 软件栈发行版本
版本说明（历史版本）
EMR on ECS-3.17.0及之前版本
EMR 3.x版本
EMR-3.6.X 版本说明
EMR-3.4.X 版本
EMR 2.x版本
EMR 1.x版本
EMR 1.3.x版本
产品简介
产品计费
快速入门
EMR on ECS 快速入门
EMR on VKE 快速入门
EMR on ECS 操作指南
集群管理
集群配置
集群监控
EMR on VKE 操作指南
EMR Serverless 队列操作指南
提交作业
运维管理
开发指南
EMR Serverless 实例操作指南（OLAP）
权限管理
数据湖查询(StarRocks)
性能调优
组件操作指南
Celeborn
DolphinScheduler
DolphinScheduler 对接 EMR Serverless
HBase
Hive
Iceberg
Knox
Lance
Livy
MapReduce2
OpenLDAP
Phoenix
Proton
基础使用
高阶使用
Ranger
Ray
RayCluster 使用
Spark
StarRocks
数据湖分析
最佳实践
Tez
YARN
最佳实践
EMR on ECS 最佳实践
EMR on VKE最佳实践
EMR Serverless 实例最佳实践
StarRocks
Doris
EMR Serverless 队列最佳实践
Spark
开发参考
API 参考
EMR on ECS API参考
集群管理
节点组管理
用户管理
用户组管理
应用管理
EMR on VKE API参考
SDK 参考
EMR on ECS SDK 参考
EMR Serverless SDK 参考
常见问题
- 文档首页
E-MapReduce组件操作指南CelebornCeleborn常见问题
Celeborn常见问题
文档反馈
问问助手Spark作业使用Celeborn，如何查看shuffle性能？ #
可以在Spark UI shuffle stage页面查看下下图中的metrics，结合shuffle write size以及shuffle write time，能比较直观地反映端到端的shuffle性能。
shuffle数据量并不大，但shuffle write time很长是什么原因？ #
通常是Celeborn到达性能瓶颈，可能的原因很多，可以排查磁盘IOPS/磁盘带宽是否达到上限，以及celeborn是否存在大量PausePushData时间较长的节点。参考下面几个监控指标：
Celeborn worker节点PausePushData次数过多/时间过长是什么原因？ #
如果磁盘性能没有到达瓶颈，可以结合节点规格和负载情况，适当调大worker 堆外内存，或者调节pause阈值：
CELEBORN_WORKER_OFFHEAP_MEMORY=xxx
celeborn.worker.directMemoryRatioToPauseReceive=xxx
如何减少shuffle fetch failed？ #
如果大作业经常出现shuffle fetch failed，可以考虑在磁盘容量充足的情况下开启celeborn多副本，Spark作业可以添加如下参数开启：
--conf spark.celeborn.client.push.replicate.enabled=true
最近更新时间：2026.02.02 15:43:33
这个页面对您有帮助吗？
有用
有用
无用
无用