Azure函数处理大文件超时无失败调用记录？求性能优化方案

我本地成功测试了一个由Blob存储触发的Python Azure函数，功能是将.xlsb文件转换为.xlsx文件：

• 本地测试中，小于100KB的.xlsb文件耗时约1分钟，70000KB左右的.xlsb文件耗时15分钟，性能急需优化
• 已通过VS Code将函数部署到Azure，小文件测试成功，但处理大文件时无任何反应，甚至没有失败调用记录，推测是超时导致，但不清楚为何看不到失败记录

函数代码如下：

import logging
import pandas as pd
from io import BytesIO
import azure.functions as func
from azure.storage.blob import BlobServiceClient
 
app = func.FunctionApp()
 
@app.blob_trigger(arg_name="myblob", path="raw/Input/{name}.xlsb",
                               connection="")
def blob_trigger(myblob: func.InputStream):
    logging.info(f"Python blob trigger function processed blob"
                f"Name: {myblob.name}"
                f"Blob Size: {myblob.length} bytes")
   
    accountName = ""
    accountKey = ""
    connectionString = f"DefaultEndpointsProtocol=https;AccountName={accountName};AccountKey={accountKey};EndpointSuffix=core.windows.net"
   
    inputBlobname = myblob.name.replace("raw/Input/", "")
    containerName = "raw/Output"
    outputBlobname = inputBlobname.replace(".xlsb", ".xlsx")
 
    blob_service_client = BlobServiceClient.from_connection_string(connectionString)
    container_client = blob_service_client.get_container_client(containerName)
 
    input_data = myblob.read()
    df = pd.read_excel(BytesIO(input_data), engine="pyxlsb")
 
    output_data = BytesIO()
    df.to_excel(output_data, index=False)
    output_data.seek(0)
 
    bob_client = container_client.get_blob_client(outputBlobname)
    bob_client.upload_blob(output_data.getvalue(), overwrite=True)

一、为何看不到大文件处理的失败调用记录？ #

1. 进程被强制终止，无错误上报：Azure函数消费计划默认超时时间为5分钟，你的大文件本地处理需15分钟，部署后必然触发超时。这种超时是直接强制终止进程，函数来不及向Azure监控系统上报错误状态，因此不会生成失败调用记录。
2. Blob触发器的静默重试逻辑：Blob触发器遇到处理失败（含超时）会自动重试，若重试次数耗尽后仍未成功，部分场景下不会标记为“失败调用”，而是直接忽略，尤其是进程被强制终止时没有可捕获的异常供系统记录。
3. 日志采集不完整：如果函数在超时前未输出任何错误日志，进程被直接终止后，Azure日志系统无法捕获本次调用的完整状态，导致看不到相关记录。可通过函数的实时日志流实时观察大文件处理过程，大概率能看到超时终止的提示。

二、性能优化建议 #

1. 避免全量加载文件到内存：当前代码用myblob.read()将整个大文件读入内存，70MB文件会占用大量内存拖慢处理速度。改用直接读取Blob URL的方式，减少内存占用：

   # 替换原读取逻辑，直接通过Blob URL读取
   blob_client = blob_service_client.get_blob_client(container="raw/Input", blob=inputBlobname)
   df = pd.read_excel(blob_client.url, engine="pyxlsb", storage_options={"account_name": accountName, "account_key": accountKey})
   

2. 更换Excel处理引擎：pyxlsb引擎处理大文件效率偏低，可尝试用pyexcel-xlsb替代，或拆分Sheet逐个处理；写入.xlsx时使用openpyxl引擎，提升写入速度。
3. 调整函数计划与配置：切换到高级计划或专用计划，提升CPU和内存配额，同时将函数超时时间调整至60分钟（高级计划支持最长60分钟超时）。
4. 队列解耦异步处理：将Blob触发的任务转发到Azure Queue Storage，用另一个函数异步处理，避免Blob触发器因超时被终止，同时可实现任务重试和状态跟踪。
5. 分块处理数据：如果文件数据量极大，可通过pandas的分块读取参数（chunksize）拆分数据，分块处理后再合并写入，降低单次内存占用。

内容的提问来源于stack exchange，提问作者SQL_Noob