You need to enable JavaScript to run this app. Spark 3.1.2 SQL作业在driver端collect阶段CPU占满长时间无返回问题
优惠活动
大模型
产品
解决方案
定价
更多

Spark 3.1.2 SQL作业在driver端collect阶段CPU占满长时间无返回问题

Spark Thrift Server全表查询Driver端高CPU卡住问题分析

问题现象

Spark 3.1.2版本下,通过Spark Thrift Server提交select * from big_table查询时,作业在driver端collect阶段疑似卡住,最后输出的常规日志如下:

INFO BlockManagerInfo: Removed broadcast_2**_piece0 on *****:32789 in memory

该日志为广播变量清理的默认INFO输出,和卡住无直接关联。

业务场景说明:查询的big_table为Parquet格式存储的大表,仅含1个字符串字段,总数据量5亿条,其中唯一值仅770万条,存在大量重复内容。查询执行阶段耗时短,但driver端CPU长时间占满100%,内存占用同步升高。

作业运行期间Spark master节点的htop监控视图如下:
htop监控截图

根因确认

该现象的核心诱因是Parquet的字典编码解码逻辑:

  • 写入重复率高的字符串字段时,Parquet默认开启字典编码,仅存储唯一值字典和每条记录对应的字典索引,存储体积大幅降低。
  • 执行select *全表拉取时,需要将所有索引映射回原始字符串,5亿条数据的字典解码、反序列化操作全部在driver端执行,因此会出现CPU长时间打满的情况,和推测的原因一致。

优化方案

  • 优先避免全量数据拉回driver:如果业务不需要全量导出5亿条数据,修改SQL增加过滤、聚合逻辑,减少拉回driver端的数据量,这是成本最低的优化方案。
  • 调整Parquet编码配置:
    • 读取时关闭向量化读的字典解码:设置参数spark.sql.parquet.enableVectorizedReader=false,跳过字典映射步骤直接读取数据。
    • 若表写入频率低,可在写入Parquet表时关闭字典编码:设置参数parquet.enable.dictionary=false,消除读取阶段的解码开销,缺点是存储占用会提升3~10倍不等。
  • 提升driver端资源配置:若确实需要全量拉取数据,调整driver资源:
    spark.driver.cores=8
    spark.driver.memory=24g
    
    增加CPU核心数可以加快反序列化和解码速度,加大内存避免OOM。
  • Thrift Server专项优化:针对Thrift Server部署场景,调整Thrift Server进程的driver资源上限,开启动态资源分配,避免单作业占用所有服务资源影响其他查询。

内容的提问来源于stack exchange,提问作者rk1234 afbce

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.10 03:15:02