如何在Terraform的databricks_workspace_file中扩展工作区上传文件大小限制？

核心结论 #

• 目前无法直接通过terraform-provider-databricks配置上传文件的大小限制，这个10MB的限制是Provider本身内置的客户端校验逻辑，而非Databricks服务端的限制——这也是你手动通过UI能正常上传同一文件的原因。

原因分析 #

Databricks服务端对工作区文件的上传限制远高于10MB，但terraform-provider-databricks的databricks_workspace_file资源在本地侧加了10MB的大小校验，当文件超过阈值时就会触发报错：

Error: cannot create workspace file: File size imported is (11396743 bytes), exceeded max size (10485760 bytes)

可行替代方案 #

方案1：用Databricks CLI上传后通过Terraform引用 #

1. 先通过Databricks CLI将大文件上传到工作区：

   databricks workspace import --file "/本地文件路径" --path "/Workspace/目标路径" --language PYTHON
   

2. 在Terraform中可通过databricks_workspace_object数据资源确认文件存在，或直接在需要引用的地方使用文件路径：

   data "databricks_workspace_object" "large_file" {
     path = "/Workspace/目标路径"
   }
   

方案2：拆分大文件（若业务逻辑允许） #

将超过10MB的文件拆分为多个小文件，分别通过databricks_workspace_file上传，后续在Databricks环境中合并使用。

方案3：升级Provider或提交功能需求 #

• 检查terraform-provider-databricks的最新版本，确认是否已移除或提高该内置限制；
• 若新版本未解决，可在Provider的代码仓库提交Feature Request，请求提供可配置的文件大小限制参数，或移除客户端侧的校验逻辑。

内容的提问来源于stack exchange，提问作者Marcin Kieszek