Apache Doris 2.0.8中INSERT INTO...SELECT查询异常缓慢如何排查？

针对你遇到的「单独跑SELECT速度正常，结合INSERT INTO后耗时剧增」的问题，可从以下几个方向排查解决：

1. 写入阶段资源瓶颈 #

• 内存不足：INSERT INTO会额外触发数据编码、压缩、排序（目标表有排序键时）等操作，占用更多内存。如果BE节点内存吃紧，会触发磁盘交换，直接拖慢速度。
  • 用SHOW BACKENDS查看BE节点的MemUsedPercent，如果接近阈值，可临时调大会话级内存限制：SET exec_mem_limit = 8G;（根据集群情况调整数值），再执行语句。
• 磁盘IO饱和：目标表写入依赖磁盘IO，若BE节点磁盘性能差（比如用了机械盘）或IO已被占满，写入会卡住。
  • 用iostat等系统工具检查磁盘IO使用率，负载过高的话，要么把目标表移到性能更好的磁盘，要么调整写入并发度。

2. 目标表结构与配置坑点 #

• 表模型与排序/聚合键冗余：如果目标表是聚合/更新模型，写入时必须做排序、聚合运算，这部分开销是单独SELECT时没有的。
  • 看目标表的SHOW CREATE TABLE结果，要是排序键太多或聚合逻辑复杂，要么简化表结构，要么在SELECT阶段提前完成聚合，减少写入时的计算量。
• 分区分桶不匹配：目标表和源表的分区分桶规则不一致，会导致写入时大量数据重分布，浪费网络和计算资源。
  • 对齐两者的分区键，分桶数要合理；也可以在SELECT里加DISTRIBUTE BY指定和目标表一致的分桶键，避免重分布。
• 二级索引过多：目标表的Bitmap、Bloom Filter等索引，写入时要同步更新，会大幅增加耗时。
  • 非必要的索引先删掉，写完数据再重建。

3. 执行计划差异 #

• 单独SELECT和INSERT INTO的执行计划可能不一样：比如单独查的时候用了物化视图或预聚合数据，但写入时可能强制全表扫描或重新聚合。
  • 分别跑EXPLAIN SELECT ...;和EXPLAIN INSERT INTO ... SELECT ...;对比计划，要是INSERT没用到物化视图，手动调整语句触发优化，或者指定使用物化视图。

4. 集群资源冲突 #

• 执行INSERT时，集群可能有其他高负载任务（比如批量导入、大查询）抢占资源，导致写入被限流。
  • 用SHOW PROC '/tasks'看当前运行的任务，等其他任务跑完再执行，或者调整资源调度策略给写入任务多分点资源。

内容的提问来源于stack exchange，提问作者Michael