Databricks中非DBFS根目录自定义位置托管表与外部表的区别

• 数据生命周期控制权
  托管表：删除表时会连带删除自定义位置下的所有底层数据文件，Databricks完全掌控数据的生命周期，哪怕位置不是DBFS根目录。
  外部表：删除表仅会删除 metastore 中的元数据，自定义位置里的数据文件会完整保留，数据生命周期由存储系统而非Databricks管理。

• 元数据与数据的绑定关系
  托管表：元数据和数据强绑定，Databricks会自动管理自定义位置下的表目录结构（比如分区文件夹、数据文件命名），如果手动修改或删除存储路径里的文件，表会直接失效。
  外部表：元数据只是指向自定义位置的“引用”，用户可以自由在存储系统中增删数据文件，只要路径正确，表就能正常访问，甚至可以随时修改元数据指向其他存储路径。

• 数据写入的灵活性
  托管表：执行INSERT、MERGE等写入操作时，无需指定路径，数据会自动写入Schema定义的自定义位置下的专属目录，Databricks还会自动处理文件合并（如OPTIMIZE）等优化操作。
  外部表：写入时需要明确指定目标路径（或通过LOCATION参数关联），用户可以自主控制数据的存储结构，比如将数据写入已有的共享目录，方便和其他系统互通数据。

• 权限管理逻辑
  托管表：权限仅需针对表本身配置（如SELECT、DROP），拥有表的删除权限就意味着能删除对应的数据。
  外部表：除了表的权限，还需要配置底层存储位置的读写权限（比如S3桶的IAM权限、ADLS的RBAC权限），因为数据不在Databricks的托管权限范围内。

• 迁移与备份成本
  托管表：迁移时必须同时迁移元数据和数据，否则表会因找不到数据而无法使用；备份也需要同时处理元数据和数据文件。
  外部表：迁移仅需同步元数据，数据可以留在原存储位置，或者修改元数据指向新路径即可，无需移动数据，适合跨环境共享或快速备份。

内容的提问来源于stack exchange，提问作者qudsif