AWS Databricks私有链接工作区集群启动报错：Security Daemon注册失败

问题描述 #

启动集群时触发以下错误：

Security Daemon Registration Exception: 无法设置Spark容器，原因是向安全守护程序注册容器时出错。

EC2实例系统日志循环输出如下内容：

[ 348.935443] audit: kauditd hold queue overflow
[ 348.940183] audit: kauditd hold queue overflow
[ 348.946439] audit: kauditd hold queue overflow
[ 354.013288] audit: kauditd hold queue overflow
[ 354.019590] audit: kauditd hold queue overflow
[ 354.025712] audit: kauditd hold queue overflow
[ 475.998259] audit: kauditd hold queue overflow
[ 476.004062] audit: kauditd hold queue overflow
[ 476.009494] audit: kauditd hold queue overflow
[ 638.997129] audit: kauditd hold queue overflow
[ 639.005763] audit: kauditd hold queue overflow
[ 639.012236] audit: kauditd hold queue overflow

附报错截图：显示上述Security Daemon Registration Exception错误的Databricks界面截图

解决方案 #

1. 修复内核审计队列溢出问题 #

kauditd hold queue overflow是核心触发点，审计队列溢出会阻断安全守护进程的注册流程：

• 编辑/etc/audit/auditd.conf，修改以下配置：

  max_log_file_action = rotate
  num_logs = 10
  

• 调整内核审计队列大小，编辑/etc/sysctl.conf添加：

  kernel.audit_backlog_limit = 8192
  

  执行sudo sysctl -p使配置生效
• 重启auditd服务：sudo systemctl restart auditd

2. 校验Private Link网络连通性 #

带Private Link的工作区必须保证集群节点与Databricks控制平面的连通：

• 检查VPC安全组：允许集群节点的出站443端口流量到VPC端点
• 确认子网路由表：包含指向Databricks VPC端点的路由条目，无流量拦截规则
• 验证VPC端点服务权限：确保Databricks账户被授权访问该端点服务

3. 调整集群实例与权限配置 #

• 更换符合Databricks要求的EC2实例类型，避免资源不足导致守护进程启动失败
• 检查集群IAM角色权限：确保拥有S3访问、EC2只读及VPC端点相关必要权限
• 切换至最新稳定版Databricks Runtime，部分旧版本存在安全守护进程兼容性BUG

4. 排查安全增强机制限制 #

• 临时关闭SELinux测试：执行sudo setenforce 0，若集群能正常启动，再调整SELinux策略为permissive模式
• 检查AppArmor配置，确保未阻止Spark容器的文件访问、进程启动等操作

内容的提问来源于stack exchange，提问作者jonro