Node.js下Azure Blob触发器处理16MB CSV写入表存储慢及日志不全问题

• 取消全量加载逻辑：你当前使用myBlob.toString("utf8")会把16MB文件整体加载到内存再处理，是拖慢速度的核心原因。换成流式处理方案，搭配csv-parser这类流式CSV解析库，把Blob Buffer转成可读流逐行解析，无需等待全量文件加载完成即可启动数据处理。
• 采用Table Storage批量写入机制：Table Storage单批次写入支持最多100条记录、总大小不超过4MB，把解析得到的记录攒成每批次50-100条后，调用submitBatch接口统一提交，能大幅减少网络IO次数，处理速度可以提升数倍。
• 调整函数运行配置：如果使用消费级函数计划，可将函数超时时间调整到最大10分钟，同时在host.json中调整Blob触发器的batchSize、maxDequeueCount参数，避免同时处理多个大文件占满运行资源。
• 按需提取字段：如果CSV中只有部分字段需要写入Table Storage，流式解析时只提取需要的字段即可，无需存储整行数据，进一步降低内存占用。

• 原因：Azure函数日志系统默认单条日志大小上限为4KB，你直接将16MB的完整文件内容传入单条context.log调用，超出上限的部分会被自动截断，因此只能看到部分内容。
• 解决：调试场景下如果需要查看完整内容，可以把文件内容按每2KB或每行拆分后分批调用context.log输出；生产环境不建议打印完整文件内容，仅打印文件大小、处理行数、处理状态这类关键信息即可，既不会触发截断限制，也能减少不必要的日志存储开销。

优化后示例代码 #

const csv = require('csv-parser');
const { TableServiceClient, TableBatch } = require("@azure/data-tables");
const { PassThrough } = require('stream');

// 请替换为自身配置
const TABLE_NAME = "你的目标表名";
const tableServiceClient = TableServiceClient.fromConnectionString("你的Table Storage连接字符串");
const BATCH_WRITE_SIZE = 100;

module.exports = async function (context, myBlob) {
  // 仅打印关键元信息，不输出全量文件内容
  context.log(`接收到Blob文件，总大小：${myBlob.length} 字节`);
  const tempRecords = [];

  return new Promise((resolve, reject) => {
    // 将Blob Buffer转为可读流
    const blobStream = new PassThrough();
    blobStream.end(myBlob);

    // 流式解析CSV + 批量写入
    blobStream.pipe(csv())
      .on('data', async (record) => {
        // 组装Table Storage需要的实体结构，可按需调整字段
        tempRecords.push({
          partitionKey: "自定义分区键",
          rowKey: `${Date.now()}-${tempRecords.length}`,
          ...record
        });
        // 达到批次阈值则触发批量写入
        if (tempRecords.length >= BATCH_WRITE_SIZE) {
          const batch = new TableBatch();
          tempRecords.forEach(item => batch.createEntity(item));
          await tableServiceClient.submitBatch(TABLE_NAME, batch);
          tempRecords.length = 0;
        }
      })
      .on('end', async () => {
        // 写入剩余不足一批的记录
        if (tempRecords.length > 0) {
          const batch = new TableBatch();
          tempRecords.forEach(item => batch.createEntity(item));
          await tableServiceClient.submitBatch(TABLE_NAME, batch);
        }
        context.log("CSV文件处理并写入Table Storage完成");
        resolve();
      })
      .on('error', (err) => {
        context.log.error(`处理出错：${err.message}`);
        reject(err);
      });
  });
};

内容的提问来源于stack exchange，提问作者cesar andavisa