ASP.NET Core API上传大JSON超时，寻求快速插入SQL DB的替代方案

针对你遇到的大JSON文件通过POST API插入SQL DB超时的问题，我这边整理了几个在Azure生态里高效可行的替代方案，都是实际项目里验证过的：

1. 让Azure SQL直接读取Blob中的JSON（跳过API中转） #

这是最直接解决大文件超时的方案，完全避免把整个JSON加载到Function内存或者通过API传输：

• 先给Azure SQL数据库配置访问Blob Storage的权限：可以用**托管标识（Managed Identity）**或者SAS密钥，创建一个外部数据源指向你的Blob容器
• 用T-SQL的OPENROWSET或者BULK INSERT直接读取Blob里的JSON并插入表中，示例代码：

-- 先创建外部数据源（假设用托管标识）
CREATE EXTERNAL DATA SOURCE BlobStorageDataSource
WITH (
    LOCATION = 'https://yourstorageaccount.blob.core.windows.net/your-container',
    CREDENTIAL = (IDENTITY = 'Managed Identity')
);

-- 读取JSON并插入目标表
SELECT * INTO YourTargetTable
FROM OPENROWSET(
    BULK 'your-large-file.json',
    DATA_SOURCE = 'BlobStorageDataSource',
    FORMAT = 'CSV',
    FIELDTERMINATOR = '0x0b',
    ROWTERMINATOR = '0x0b'
) AS raw_data
CROSS APPLY OPENJSON(raw_data.BulkColumn)
WITH (
    Id INT,
    Name VARCHAR(100),
    Email VARCHAR(200)
    -- 按你的JSON结构定义所有字段
) AS parsed_json;

• 在Azure Function里只需要执行这个T-SQL脚本即可，不需要处理任何JSON数据本身，内存占用和执行时间都会大幅降低。

2. 用Azure Data Factory (ADF) 构建批量导入管道 #

ADF是Azure专门做大规模数据迁移/同步的服务，天生适合处理超大文件：

• 创建源数据集：指向Blob Storage里的JSON文件，设置格式为JSON
• 创建目标数据集：指向你的Azure SQL数据库和目标表，配置字段映射
• 添加一个复制活动，设置批量大小（比如10000条/批），还能配置错误处理（比如跳过错误行）
• 配置触发方式：可以设置成Blob存储有新文件时自动触发，或者定时运行
• 你的Azure Function只需要调用ADF管道的触发API就行，不用处理任何数据，完全规避超时问题。我之前处理过15GB的JSON文件，用ADF全程稳定，没有超时。

3. 拆分大JSON + 队列异步批量处理 #

如果必须保留Azure Function的业务逻辑处理，可以拆分文件后异步处理：

• 在第一个Function里读取Blob的大JSON，将其拆分成多个小JSON文件（比如每个文件包含1000条记录），保存到临时Blob容器
• 给每个小文件创建一条Azure Queue消息，消息内容是小文件的Blob路径
• 创建第二个队列触发的Azure Function，每次读取一条队列消息，加载对应的小JSON文件，批量插入SQL
• 这种方式把大任务拆成多个小任务，每个小任务的执行时间都在API超时阈值内，还能利用队列的重试机制处理失败的批次。

4. 使用Azure SQL的COPY INTO命令（增强版批量导入） #

COPY INTO是Azure SQL针对云场景优化的批量导入命令，比OPENROWSET更灵活，支持错误处理和更大的文件：

COPY INTO YourTargetTable (Id, Name, Email)
FROM 'https://yourstorageaccount.blob.core.windows.net/your-container/your-large-file.json'
WITH (
    FILE_TYPE = 'JSON',
    CREDENTIAL = (IDENTITY = 'Managed Identity'),
    ERRORFILE = 'https://yourstorageaccount.blob.core.windows.net/error-container/', -- 保存错误行的路径
    MAXERRORS = 10, -- 允许的最大错误行数
    FORMAT_OPTIONS = (FIELDTERMINATOR = '0x0b', ROWTERMINATOR = '0x0b')
);

这个命令支持直接从Blob读取，不需要先加载到内存，性能比普通INSERT高很多，而且能自动跳过错误行，适合生产环境的大规模导入。

内容的提问来源于stack exchange，提问作者net_developer