Databricks中Log Analytics日志缺失commandText的排查及恢复咨询

核心原因：与配置设置直接相关 #

commandText字段缺失几乎都是因为日志采集或导出的配置未正确开启，以下是具体检查和修复步骤：

1. 检查诊断日志的类别配置 #

• 进入Azure Databricks工作区的诊断设置，确认已勾选CommandExecutions日志类别，并且目标已指定到对应的Log Analytics工作区。
• 若未勾选该类别，开启后新产生的命令执行日志会自动包含commandText字段。

2. 排查日志过滤/采样规则 #

• 检查Log Analytics的数据源配置，或Databricks侧的日志导出过滤规则，确认没有将commandText字段排除在外。
• 部分环境可能设置了日志采样率，导致部分日志未被完整采集，需调整采样策略为全量采集（根据业务需求）。

3. 验证集群级日志配置 #

• 查看问题集群的高级配置，检查Spark配置中是否存在禁用命令文本日志的参数（如spark.databricks.logging.commandText.enabled=false），若有则改为true。
• 不同集群的配置可能独立，需确保目标集群的日志记录规则一致。

4. 确认权限配置 #

• 验证Databricks服务主体拥有向Log Analytics工作区写入日志的权限（如Log Analytics Contributor角色）。
• 确认Log Analytics的权限设置允许当前用户查看完整的日志字段，避免因权限不足导致字段被隐藏。

关于找回已缺失的日志内容 #

• 若之前的日志因配置未开启而缺失，通常无法找回，除非Databricks工作区有额外的日志备份（默认无长期备份）。
• 调整配置后，新产生的命令执行日志会自动包含commandText字段，可通过Log Analytics查询验证。

内容的提问来源于stack exchange，提问作者Dimitar Grigorov