FastAPI查询Firebase大时间范围数据触发504超时问题求助

在FastAPI中使用Firebase Firestore查询指定日期范围的infoBorehole集合数据时，小时间范围查询正常，但扩大时间范围（如从2023-01-01到2023-09-27）时，本地和GCP环境均触发504 Deadline Exceeded错误。

查询代码：

infoBorehole = currentProjectsRef.collection('infoBorehole').where(u'dateExecution', u'>=', from).where(
            u'dateExecution', u'<=', to).stream()

请求JSON格式：

{
    "items": [
        {
            "from": "2023-09-01",
            "to": "2023-09-27"
        }
    ]
}

报错信息：

• GCP控制台：

DeadlineExceeded: 504 Deadline Exceeded
_MultiThreadedRendezvous: <_MultiThreadedRendezvous of RPC that terminated with
AttributeError: '_UnaryStreamMultiCallable' object has no attribute '_retry'

• 本地Postman：

grpc._channel._MultiThreadedRendezvous: <_MultiThreadedRendezvous of RPC that terminated with:
        status = StatusCode.DEADLINE_EXCEEDED
        details = "Deadline Exceeded"
        debug_error_string = "UNKNOWN:Error received from peer ipv4:142.250.203.202:443 {grpc_message:"Deadline Exceeded", grpc_status:4, created_time:"2023-09-27T10:39:39.480990121+00:00"}"
>

1. 为dateExecution字段添加复合索引 #

Firestore的范围查询必须依赖对应复合索引才能高效执行，无索引时大范围内查询会触发全表扫描，直接导致超时。

• 登录Firebase控制台，进入Firestore数据库的索引页面
• 创建新复合索引，选择infoBorehole集合，添加dateExecution字段并设置排序方式（升序/降序均可）
• 等待索引构建完成后重新测试查询

2. 手动设置查询超时时间 #

默认gRPC超时时间不足以处理大量数据查询，可手动延长超时：

# 设置超时为60秒，可根据实际数据量调整
infoBorehole = currentProjectsRef.collection('infoBorehole').where(u'dateExecution', u'>=', from).where(
    u'dateExecution', u'<=', to).stream(timeout=60)

3. 实现分页查询 #

大时间范围会返回海量数据，一次性获取全部数据极易超时，改用分页逐步获取：

def get_borehole_data(from_date, to_date, page_size=1000):
    query = currentProjectsRef.collection('infoBorehole').where(u'dateExecution', u'>=', from_date).where(
        u'dateExecution', u'<=', to_date).order_by(u'dateExecution')
    
    last_doc = None
    while True:
        # 根据上一页最后一条数据分页查询
        docs = query.start_after(last_doc).limit(page_size).stream() if last_doc else query.limit(page_size).stream()
        doc_list = list(docs)
        if not doc_list:
            break
        
        # 逐个返回当前页数据
        for doc in doc_list:
            yield doc.to_dict()
        
        last_doc = doc_list[-1]

# 在FastAPI接口中调用
@app.post("/borehole-data")
async def get_data(request: Request):
    body = await request.json()
    from_date = body['items'][0]['from']
    to_date = body['items'][0]['to']
    data = list(get_borehole_data(from_date, to_date))
    return {"data": data}

4. 排查并升级依赖版本 #

报错中的AttributeError: '_UnaryStreamMultiCallable' object has no attribute '_retry'通常是google-cloud-firestore或grpcio版本不兼容导致的：

• 直接升级相关依赖到稳定版本：

pip install --upgrade google-cloud-firestore grpcio grpcio-tools

• 若升级后出现兼容问题，可固定以下经过验证的版本组合：

google-cloud-firestore==2.11.0
grpcio==1.58.0
grpcio-tools==1.58.0

5. 优化数据处理逻辑 #

若查询返回的数据量极大，避免在请求同步流程中处理全部数据：

• 使用FastAPI的BackgroundTasks将耗时的数据操作转移到后台执行
• 或把数据导出到BigQuery进行批量分析，避免直接在API中处理海量数据

6. 调整GCP资源配置 #

在GCP环境中（如Cloud Run、App Engine），实例资源不足也会导致超时：

• 增加实例的CPU和内存配额
• 调整服务的请求超时时间（例如Cloud Run默认超时5分钟，最大可调整至60分钟）

内容的提问来源于stack exchange，提问作者Mateusz Reczek