Spark 3.1.2 SQL作业在driver端collect阶段CPU占满长时间无返回问题
Spark Thrift Server全表查询Driver端高CPU卡住问题分析
问题现象
Spark 3.1.2版本下,通过Spark Thrift Server提交select * from big_table查询时,作业在driver端collect阶段疑似卡住,最后输出的常规日志如下:
INFO BlockManagerInfo: Removed broadcast_2**_piece0 on *****:32789 in memory
该日志为广播变量清理的默认INFO输出,和卡住无直接关联。
业务场景说明:查询的big_table为Parquet格式存储的大表,仅含1个字符串字段,总数据量5亿条,其中唯一值仅770万条,存在大量重复内容。查询执行阶段耗时短,但driver端CPU长时间占满100%,内存占用同步升高。
作业运行期间Spark master节点的htop监控视图如下:
根因确认
该现象的核心诱因是Parquet的字典编码解码逻辑:
- 写入重复率高的字符串字段时,Parquet默认开启字典编码,仅存储唯一值字典和每条记录对应的字典索引,存储体积大幅降低。
- 执行
select *全表拉取时,需要将所有索引映射回原始字符串,5亿条数据的字典解码、反序列化操作全部在driver端执行,因此会出现CPU长时间打满的情况,和推测的原因一致。
优化方案
- 优先避免全量数据拉回driver:如果业务不需要全量导出5亿条数据,修改SQL增加过滤、聚合逻辑,减少拉回driver端的数据量,这是成本最低的优化方案。
- 调整Parquet编码配置:
- 读取时关闭向量化读的字典解码:设置参数
spark.sql.parquet.enableVectorizedReader=false,跳过字典映射步骤直接读取数据。 - 若表写入频率低,可在写入Parquet表时关闭字典编码:设置参数
parquet.enable.dictionary=false,消除读取阶段的解码开销,缺点是存储占用会提升3~10倍不等。
- 读取时关闭向量化读的字典解码:设置参数
- 提升driver端资源配置:若确实需要全量拉取数据,调整driver资源:
增加CPU核心数可以加快反序列化和解码速度,加大内存避免OOM。spark.driver.cores=8 spark.driver.memory=24g - Thrift Server专项优化:针对Thrift Server部署场景,调整Thrift Server进程的driver资源上限,开启动态资源分配,避免单作业占用所有服务资源影响其他查询。
内容的提问来源于stack exchange,提问作者rk1234 afbce
相关产品推荐
相关产品推荐

