HAProxy与Postfix TCP连接随机出现Postfix重传FIN,ACK包的问题求助

我遇到一个棘手的问题：处于TCP模式的HAProxy服务器（IP后缀.94）和Postfix服务器（IP后缀.137）之间的TCP连接，会随机出现Postfix重传最后一个FIN,ACK包的情况，抓包情况如下：

这种现象大概只在25%的连接中发生，而且HAProxy的回复表现还不一致：有时候它会延迟回复，必须等收到Postfix重传的包才会响应；但也有像下面这个例子里，HAProxy会立刻回复的情况：

我之前尝试过调整Postfix服务器上的rto_min参数，把它设到了2000ms这么大的值，本来是想验证HAProxy最终会不会正常回复，结果发现这个参数似乎是在Postfix收到ACK之后、准备重传之前才生效的，问题并没有得到解决。有没有大佬能帮忙分析下这到底是怎么回事？

备注：内容来源于stack exchange，提问作者rfmoz