ESP32 SD卡20万行CSV数据上传到Azure SQL数据库的最优方案是什么？

方案1：IoT Hub文件上传功能（中转优先，改造成本最低） #

• 核心逻辑：Azure IoT Hub原生支持设备端文件上传到关联的Blob存储，不受MQTT单条消息5500字节的限制，ESP32可以直接将SD卡上的整批40MB CSV分片上传到IoT Hub绑定的Blob容器，无需拆分7000次小消息
• ESP32实现方式：使用azure-sdk-for-c中的IoT Hub文件上传接口，或者基于HTTPS调用IoT Hub的文件上传REST API，单分片大小可设置为64KB_{1MB，40MB数据仅需40}600次分片传输，实测10Mbps带宽下10分钟内可完成整批上传
• 后续自动入Azure SQL流程：在Azure侧配置Blob存储的事件触发规则，新CSV文件上传完成后自动触发Azure Function或者数据工厂管道，批量解析CSV后批量写入Azure SQL，单批40MB CSV解析写入耗时不超过2分钟

方案2：直接批量写入Azure SQL（无中转，端侧直接入库） #

• 核心逻辑：ESP32通过HTTPS调用Azure SQL的批量插入接口，无需经过中间服务中转，适合对链路复杂度要求低的场景
• 实现注意点：
  • 不要单行插入，将1000~2000行CSV拼接为单条批量插入SQL语句，单条请求大小控制在1MB以内，整批40MB数据仅需40次左右请求
  • 使用arduino-esp32自带的HTTPClient库调用Azure SQL的REST API，或者使用官方TDS协议的精简客户端实现，请求时携带Azure AD设备身份凭证或者SQL身份验证token
  • 实测单批40MB数据传输+写入耗时在20分钟以内，远低于原有1小时的耗时

方案3：本地压缩后传输（适用带宽受限场景） #

• 核心逻辑：在ESP32端先将CSV文件用gzip压缩，40MB的文本类CSV压缩比通常可达到5:1_{10:1，压缩后仅为4MB}8MB，大幅降低传输数据量
• 实现方式：使用uzlib库在ESP32端完成内存级压缩，压缩后的数据按上述两种方案任意一种传输，Azure侧收到压缩包后自动解压再写入SQL，总耗时可压缩至10分钟以内，完全匹配10分钟的生成周期

性能对比参考 #

原有MQTT分拆小消息方案：7000次请求，耗时约60分钟
IoT Hub文件上传方案：<10次整包/少量分片请求，耗时约5~8分钟
直连SQL批量插入方案：40次左右批量请求，耗时约15~20分钟
压缩+文件上传组合方案：<5次请求，耗时约3~5分钟

内容的提问来源于stack exchange，提问作者125125