使用SQLAlchemy写入DataFrame到Databricks时路径异常权限问题

出现这个问题的核心原因是：你读取表时手动指定了完整的三级路径（lending.default.delinq_users），但写入时没有明确指定 catalog 和 schema，导致 to_sql 沿用了 Databricks 连接的默认配置（默认 catalog 是 main，默认 schema 是 default），所以才会尝试在 main.default 下创建表。

具体触发场景和对应解决方式：

• 场景1：to_sql 仅传入表名，未指定完整路径
  你写代码时可能是这样的：

  df.to_sql("cust_kyc_ind", conn, if_exists="replace", index=False)
  

  这时候 to_sql 会用连接的默认 catalog 和 schema。解决办法是直接传入完整的三级表名：

  df.to_sql("lending.default.cust_kyc_ind", conn, if_exists="replace", index=False)
  

• 场景2：连接配置未指定默认 catalog 和 schema
  即使读表时手动指定了路径，但连接本身的默认 catalog 还是 main。如果想让后续所有操作默认用 lending.default，可以在创建连接时就指定：
  比如用 SQLAlchemy 连接时，URL 加上参数：

  databricks+connector://<token>@<host>:<port>/<http_path>?catalog=lending&schema=default
  

  这样后续不管是读还是写，只要不手动指定其他路径，都会默认用 lending.default。

• 场景3：to_sql 的 schema 参数未关联 catalog
  如果你尝试用 schema="default" 参数，这个参数只指定 schema，catalog 还是会用默认的 main。如果想用这种方式，需要确保连接已经默认了正确的 catalog，不过最稳妥的方式还是直接写完整表名。

内容的提问来源于stack exchange，提问作者Siddharth