Azure Databricks Autoloader无法创建Event Grid订阅问题求助

针对你遇到的CloudFilesException: Failed to create an Event Grid subscription错误，按以下步骤排查解决：

1. 确认权限分配的存储账户与错误中的一致 #

错误提示的目标存储账户是rahulstorageek，请检查你的服务主体（SP）是否确实在该存储账户上分配了以下任一角色：

• Contributor：具备创建Event Grid订阅的全权限
• Event Grid Event Subscription Contributor：精细化权限，仅允许创建/管理Event Grid订阅
  注意：Azure RBAC权限生效可能需要5-10分钟，分配后请等待一段时间再测试。

2. 验证服务主体的权限范围 #

执行以下Azure CLI命令，确认SP在目标存储账户的权限：

az role assignment list --assignee <你的SP-clientId> --scope /subscriptions/<订阅ID>/resourceGroups/<存储账户所在资源组>/providers/Microsoft.Storage/storageAccounts/rahulstorageek

如果返回结果中没有对应角色，说明权限未正确分配，需重新在Azure门户为SP绑定角色。

3. 检查资源组与存储账户的对应关系 #

确认错误中的存储账户rahulstorageek是否属于你配置的cloudFiles.resourceGroup: AzureDataBricks_Exploration_RG资源组。如果存储账户在其他资源组，SP需要在对应资源组上拥有权限，或者修改cloudFiles.resourceGroup为存储账户所在的资源组。

4. 排查配置冲突 #

你的代码中同时使用了存储账户访问密钥、服务主体认证信息和队列SAS，可能导致认证逻辑冲突：

• 若使用服务主体创建Event Grid订阅，确保SP的认证参数（tenantId/clientId/clientSecret）正确，且SP对存储账户有足够权限
• 队列SAS仅用于接收Event Grid事件，无需修改，但要确保SAS包含Listen权限

5. 临时替代方案（轮询模式） #

如果权限问题暂时无法解决，可以切换到Autoloader的轮询模式，无需创建Event Grid订阅：
修改cloudfilesConf中的配置：

cloudfilesConf = {
    # 保留其他原有配置
    "cloudFiles.useNotifications": "false",  # 禁用通知模式
    "cloudFiles.pollInterval": "30s"  # 设置轮询间隔，默认10s
}

轮询模式延迟略高，但无需Event Grid权限，适合快速验证流程。

内容的提问来源于stack exchange，提问作者R96R