使用Golang在Databricks执行多查询事务遇未实现错误，求解决方案

问题背景 #

尝试使用Golang通过databricks-sql-go库在Databricks中执行多查询事务时，遇到not implemented错误。查看库代码可知，标准Go database/sql接口的Begin()和BeginTx()方法被明确标注为Databricks不支持：

// Not supported in Databricks.
func (c *conn) Begin() (driver.Tx, error) {
    return nil, dbsqlerrint.NewDriverError(context.TODO(), dbsqlerr.ErrNotImplemented, nil)
}

// Not supported in Databricks.
func (c *conn) BeginTx(ctx context.Context, opts driver.TxOptions) (driver.Tx, error) {
    return nil, dbsqlerrint.NewDriverError(context.TODO(), dbsqlerr.ErrNotImplemented, nil)
}

可行解决方案 #

1. 基于Delta Lake的ACID事务实现 #

如果操作对象是Delta Lake表，可直接利用其原生ACID特性：

• 使用COPY INTO语句批量导入数据，实现原子性的批量写入
• 使用MERGE INTO语句完成原子性的更新/插入（Upsert）操作
• 将多个DML语句放在同一个SQL请求中执行，Delta Lake会保证这些操作的原子性（要么全部成功，要么全部回滚）

2. 单请求多语句执行 #

通过databricks-sql-go的ExecContext方法，在单个请求中执行用分号分隔的多个SQL语句，示例代码：

import (
    "context"
    "database/sql"
    _ "github.com/databricks/databricks-sql-go"
)

func main() {
    ctx := context.TODO()
    db, err := sql.Open("databricks", "your-connection-string")
    if err != nil {
        panic(err)
    }
    defer db.Close()

    multiStmt := `
INSERT INTO delta_table1 VALUES (1, "demo");
UPDATE delta_table2 SET status = "processed" WHERE id = 1;
DELETE FROM delta_table3 WHERE created_at < '2023-01-01';
`
    _, err = db.ExecContext(ctx, multiStmt)
    if err != nil {
        // 处理错误，所有操作均未生效
        panic(err)
    }
}

注意：此方案仅对Delta Lake表有效，非Delta表无法保证事务原子性。

3. 通过Databricks Jobs API封装事务逻辑 #

对于复杂的事务需求，可将多查询逻辑封装为Databricks Job（如Notebook任务、Spark作业），通过Jobs API触发执行：

• Job内部可利用Spark的事务API或Delta Lake的ACID特性保证操作原子性
• 客户端只需调用Jobs API触发任务，无需直接处理事务细节

4. 客户端侧模拟事务（不推荐） #

若以上方案均不适用，可手动在客户端实现事务逻辑：

• 先执行所有操作的前置校验
• 依次执行修改操作
• 若任何步骤失败，手动执行回滚（如删除插入的数据、恢复更新的记录）
  此方案存在数据不一致风险，仅适用于非关键业务场景，不建议生产环境使用。

内容的提问来源于stack exchange，提问作者Gilo