在AWS VPC中部署Databricks后EC2实例不可见及计算位置咨询

• 当你在自己的AWS VPC中创建Databricks工作区时，非Serverless类型的计算资源（比如经典集群、作业集群）会直接部署在你指定的VPC子网内，不会跑到VPC外部。你找不到EC2实例，大概率是这几个原因：

  • 集群还未启动：只有创建并启动集群后，对应的EC2实例才会被创建
  • 筛选条件不对：可以在AWS EC2控制台通过标签筛选，比如带有databricks-cluster-id、aws:cloudformation:stack-name（值包含Databricks工作区相关栈名）的实例
  • 使用了Serverless计算：如果是Serverless SQL仓库或Serverless集群，这类资源由Databricks托管在自己的AWS账户VPC中，所以你的AWS账户里看不到对应的EC2实例

• 部署位置的明确结论：

  • 非Serverless计算：完全处于你自己的VPC内部，属于你的AWS账户资源
  • Serverless计算：部署在Databricks管理的AWS账户VPC中，由Databricks负责运维，你无需在自己账户中管理这些实例

内容的提问来源于stack exchange，提问作者Ninad Magdum