如何从ADF向多个Azure Log Analytics高效发送数据

你现有构思的「预拉配置做单LA目标分区」的优化方向是完全正确的，核心只要解决分区后的批量写入逻辑，完全可以在当前技术限制下实现大体量数据的高性能处理，不需要额外引入Spark这类当前环境不支持的组件。

优先推荐：ADF分区 + Blob触发Azure Function批量写入 #

你之前评估的ADF调用Function的方案本身可行，之前担心的大体量性能问题本质是触发模式和写入逻辑的设计缺陷，只要调整实现细节，完全可以覆盖GB到百GB级的数据处理需求：

• 分区逻辑前置到ADF原生能力实现：首先用ADF查找活动一次性拉取全量LA路由配置，后续直接用ADF映射数据流的拆分活动，读取存储账户中的parquet/json数据，按路由规则把相同LA目标的数据拆分到独立分区，输出到存储的临时目录，文件名直接携带目标LA的工作区ID、目标表等路由参数。这一步全程是ADF原生的分布式处理，不需要Spark，处理TB级数据也不会有性能瓶颈。
• Function不要走ADF逐行/逐文件同步调用的模式，改成Blob存储事件触发：分区文件落到临时目录后自动触发对应Function实例，Function直接读取整份分区文件内容，parquet格式用轻量解析包直接读取，json格式直接批量反序列化，之后严格按照LA数据收集API的限制做本地切片——单次请求最多打包10000条、总大小不超过30MB，用并发客户端批量提交到LA，完全不要做单条发送。
• 实际性能参考：用Premium计划的Function实例（4核16G配置），单实例处理1GB左右的分区文件耗时在40-60秒，开多实例并发的话，100GB数据从分区到写入LA全流程可以控制在10分钟以内，比当前的逐行App Service方案效率提升两个量级以上。
• 配套优化点：给Function配置系统托管标识，直接给对应标识分配LA工作区的日志发布权限，不用硬编码API密钥；临时分区目录配置存储生命周期规则，写入完成后24小时自动删除，几乎不会产生额外存储成本。

超大规模数据备选：ADF分区 + Azure Batch自定义活动批量写入 #

如果单批次数据量在TB级，Function的最长执行时长限制（Premium计划最长1小时）可能满足不了需求，可以把Function替换成ADF的自定义DotNet活动，运行在自主管控的Azure Batch池上：

• 核心写入逻辑和上面的Function方案完全一致，都是读取分区文件后按LA API阈值切片批量并发提交，优势是可以自由配置Batch池的VM规格、节点数量，也没有执行时长限制，超大规模场景下性能更可控，成本也比长时间运行的Function更低。

避坑提醒 #

• 不要用ADF逐行/逐单条记录触发Function的模式，这种实现和当前的App Service方案没有本质区别，大数据量下会产生海量函数调用，很容易触发LA端的API限流，反而拖慢整体速度，调用成本也会高很多。
• 不要尝试直接用ADF原生REST活动写LA：ADF REST活动有单请求大小限制，也没法做本地的批量切片逻辑，处理大文件会直接触发请求超限报错。
• 不用强行适配Spark写LA的连接器：现有开源的Spark-LA连接器基本都是单条循环调用API，没有做批量优化，性能比上面的批量写入方案差很多，还容易出现版本兼容问题，不符合当前的技术限制要求。

内容的提问来源于stack exchange，提问作者user10360768