使用DataStage向Greenplum加载大数据时随机出现gpfdist管道忙报错

1. 核心错误源为gpfdist服务并发处理能力不足：你收集到的报错中反复出现HTTP/1.0 501 pipe is busy，是单gpfdist进程在处理高并发大数据量写入请求时，内置管道缓冲区被占满，无法响应新请求导致的。报错随机触发是因为只有多个高数据量作业同时写入、占用所有gpfdist资源时才会触发，低数据量场景下资源足够不会出现报错
2. 第三天出现的APT_PMMessagePort::dispatch为DataStage侧次生报错：是gpfdist侧异常中断写入链路后，DataStage上下游进程通信消息错位抛出的错误，不是根因

紧急修复方案 #

报错后先清理残留的gpfdist进程及缓冲，重启gpfdist时增大传输块限制：

# 终止所有运行中的gpfdist进程
pkill gpfdist
# 启动gpfdist，指定工作目录、端口，将最大传输块从默认32M调整为4G
gpfdist -d <你的gpfdist工作目录> -p 8000 -m 4194304

重启后重新运行失败的作业即可恢复。

长期优化方案 #

• 部署多gpfdist实例分流：在ETL服务器上启动多个gpfdist实例分别绑定不同端口，将不同的DataStage加载作业分配到不同的gpfdist端口写入，避免单实例压力过载
• 调整Greenplum外部表参数：修改gpfdist外部表的gp_external_max_segs参数，从默认64调整为32，降低单gpfdist实例同时对接的segment节点数量，减少并发连接压力
• 调整DataStage作业并发度：将大数据量加载作业的节点并发度从默认值下调为2，减少单作业对gpfdist的并发请求数
• 调整调度策略：高数据量加载作业错开调度，避免多个高负载作业同时运行
• 优化操作系统网络参数：调整ETL服务器TCP socket缓冲区配置，提升网络传输能力：

echo 'net.core.rmem_max = 16777216' >> /etc/sysctl.conf
echo 'net.core.wmem_max = 16777216' >> /etc/sysctl.conf
sysctl -p

完成配置调整后，连续运行3次全量高数据量加载作业，无随机报错即可确认问题修复。

内容的提问来源于stack exchange，提问作者Saikat Mitra