如何通过Azure Data Factory连接Log Analytics Workspace并导出数据为Parquet？

可用连接器 #

在Azure Data Factory（ADF）中，你需要使用Azure Monitor Logs连接器来连接Log Analytics Workspace，这是官方原生支持的连接器，专门用于读取Log Analytics中的日志表数据。

实现读取AzureActivity表并写入存储账户为Parquet的步骤 #

• 创建Azure Monitor Logs数据集：在ADF中新建数据集，选择Azure Monitor Logs类型，配置关联你的Log Analytics Workspace，指定要读取的表为AzureActivity；如果需要过滤数据，可以提前设置时间范围，或后续在复制活动中用Kusto语句做更精准筛选。
• 创建目标存储账户数据集：选择Blob Storage/ADLS Gen2对应的数据集类型，格式设置为Parquet，指定存储容器和输出路径，配置好身份验证方式（比如托管标识、账户密钥等）。
• 配置复制活动：新建复制活动，源选择刚才创建的Azure Monitor Logs数据集，目标选择Parquet格式的存储数据集；在源的查询设置里，可通过Kusto查询进一步筛选AzureActivity数据，例如AzureActivity | where TimeGenerated > ago(30d)来限定时间范围，提升读取效率。
• 运行并验证：触发管道后，通过ADF监控面板查看运行状态，完成后前往存储账户对应的路径，确认Parquet文件已生成且数据正确。

关于读取方式选择的合理性 #

你选择从Log Analytics Workspace读取解析后的AzureActivity表是非常合理的：原始活动日志的JSON结构复杂且未经过标准化解析，而Log Analytics已经完成了ETL解析工作，导出的数据结构更规整，避免了直接处理原始日志的繁琐；转换成Parquet格式后，能完美适配Databricks读取并填充Delta Lake，为后续生成Azure活动报告及其他诊断日志分析提供高效的结构化数据基础。

内容的提问来源于stack exchange，提问作者Noor Basha Shaik