You need to enable JavaScript to run this app. Apache Arrow Flight: FlightServer并发调用异常及阻塞处理方案咨询
优惠活动
大模型
产品
解决方案
定价
更多

Apache Arrow Flight: FlightServer并发调用异常及阻塞处理方案咨询

问题根因

Apache Arrow Flight默认基于gRPC实现,默认启用多线程处理并发请求,你遇到的并发场景下首请求异常无报错的问题,通常来自两个原因:一是低版本pyarrow的Flight服务端存在线程安全漏洞,二是业务逻辑中共享资源未做并发保护。

方案1:强制串行处理(即你需要的阻塞模式)

仅需在服务端启动时限制线程池大小为1,即可实现处理完前一个请求再接收下一个请求的逻辑,修改代码如下:

def main():
    # 传入thread_pool_size=1限制服务端仅用1个工作线程,强制串行处理请求
    FlightServer(thread_pool_size=1).serve()

该方案改动最小,适合并发要求不高的场景。

方案2:保留并发能力,修复异常问题

如果需要支持多请求并行处理,可按以下步骤排查修复:

  • 升级pyarrow到最新稳定版本(14.0+),低于12.0版本的pyarrow Flight服务端存在多个已知的多线程响应bug,升级后大部分场景可直接解决问题。
  • 如果你的实际业务逻辑中存在修改服务端共享变量(比如self.tables的写入操作),需要对共享资源的读写加线程锁,修改示例如下:
import threading
# 其他导入和原有逻辑不变

class FlightServer(fl.FlightServerBase):
    def __init__(self, location="grpc://0.0.0.0:8815", **kwargs):
        super(FlightServer, self).__init__(location, **kwargs)
        self.lock = threading.Lock()
        self.tables = {
            b'table_int': create_table_int(),
            b'table_dict': create_table_dict(),
        }

    def do_get(self, context, ticket):
        # 操作共享资源前加锁,避免多线程竞争
        with self.lock:
            table = self.tables[ticket.ticket]
        return fl.RecordBatchStream(table)
  • 如果你的业务中返回的是动态生成的流而非静态表,不要复用全局/跨请求的生成器、批次对象,所有动态数据生成逻辑放在do_get方法内部完成,避免多个请求互相干扰。

内容的提问来源于stack exchange,提问作者ajp619

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.22 06:27:03