多实例TensorFlow Serving GRPC连接异常时返回结果不一致原因咨询

根本原因：gRPC Channel的连接缓存与懒加载特性 #

• gRPC的insecure_channel默认采用懒连接模式：只有当第一个RPC请求发送时，才会尝试建立与服务端的连接。
• Socket文件存在期间，已经发起过请求的实例，其Channel会缓存已建立的Unix Socket连接。即使后续Socket文件被删除，已建立的连接不会立即失效，这些实例仍能通过缓存的连接正常完成预测请求。
• 未发起过请求的实例，在Socket被删除后首次发送请求时，会尝试新建连接，此时找不到Socket文件，就会触发StatusCode.UNAVAILABLE错误。

实例数量差异的诱因 #

• 运行3个实例时，所有实例大概率在Socket删除前都已完成至少一次请求，成功建立并缓存了连接，因此后续无报错。
• 运行20个实例时，部分实例在Socket删除前还未触发首次请求，这些实例在Socket消失后首次尝试连接就会失败，从而出现部分报错、部分正常的现象。

验证方法 #

• 提前让所有20个实例在Socket删除前发起一次预测请求，之后删除Socket，此时所有实例都能正常返回结果。
• 删除Socket后启动新实例，该实例首次请求必然会抛出相同的连接错误。

内容的提问来源于stack exchange，提问作者foxel