Databricks Golang客户端处理含NULL值Map/Struct时异常，求配置方案

当使用Golang的sql包操作Databricks时，会遇到两个核心问题：

• map/struct中的NULL值会被Scan方法转为对应Go类型的零值，无法区分原数据是NULL还是零值；
• 当map/struct的所有值均为NULL时，Scan操作直接抛出databricks: arrow row scanner unhandled type null错误。

复现代码 #

func selectFromMap(db *sql.DB) {
    var row interface{}

/********************************* Basic map ************************************/
    rows, err := db.Query("select map('red', 1, 'green', 2) as sample_map")
    if err != nil {
        panic(err)
    }
    defer rows.Close()

    if rows.Next() {
        if err = rows.Scan(&row); err != nil {
            panic(err)
        }
        fmt.Printf("basic map: %v\n", row) // Good! {"red":1,"green":2}
    }

/********************************* Map with null value ****************************/
    rows, err = db.Query("select map('red', 1, 'green', null) as sample_map")
    if err != nil {
        panic(err)
    }
    if rows.Next() {
        if err = rows.Scan(&row); err != nil {
            panic(err)
        }
        fmt.Printf("map with null value: %v\n", row) // Bad! {"red":1,"green":0} -> should print NULL not 0 
    }

/***************************** Map with ONLY null values *************************/
    rows, err = db.Query("select map('red', NULL, 'green', NULL) as sample_map")
    if err != nil {
        panic(err)
    }
    if rows.Next() {
        if err = rows.Scan(&row); err != nil {
            panic(err)
        }
        fmt.Printf("map with ONLY Null values: %v\n", row) // ERR databricks: arrow row scanner unhandled type null
    }
}

预期输出 #

basic map: {"red":1,"green":2}
map with null value: {"red":1,"green":null}
map with ONLY Null values: {"red":NULL,"green":NULL}

实际输出 #

basic map: {"red":1,"green":2}
map with null value: {"red":1,"green":0}
11:50AM ERR databricks: arrow row scanner unhandled type null connId=*** corrId= queryId=****

解决方案 #

目前Databricks官方Go驱动没有提供直接的配置项解决该问题，可通过以下两种方式处理：

方案一：自定义可空类型实现sql.Scanner接口 #

这是Go处理数据库NULL值的标准方案，通过自定义类型标记值是否为NULL，替代默认的零值转换。

以int类型的map value为例，定义可空类型：

type NullableInt struct {
    Int   int
    Valid bool // Valid为false表示原数据是NULL
}

func (n *NullableInt) Scan(value interface{}) error {
    if value == nil {
        n.Int, n.Valid = 0, false
        return nil
    }
    // 适配Databricks可能返回的int64类型
    switch val := value.(type) {
    case int:
        n.Int, n.Valid = val, true
    case int64:
        n.Int, n.Valid = int(val), true
    default:
        return fmt.Errorf("unsupported type %T for NullableInt", value)
    }
    return nil
}

使用时，将扫描目标指定为具体的可空类型map，而非interface{}：

func selectFromMap(db *sql.DB) {
    var sampleMap map[string]NullableInt

    // 带NULL值的map查询
    rows, err := db.Query("select map('red', 1, 'green', null) as sample_map")
    if err != nil {
        panic(err)
    }
    defer rows.Close()

    if rows.Next() {
        if err = rows.Scan(&sampleMap); err != nil {
            panic(err)
        }
        // 可通过Valid字段区分NULL和零值
        fmt.Printf("map with null value: %v\n", sampleMap)
    }

    // 全NULL的map查询
    rows, err = db.Query("select map('red', NULL, 'green', NULL) as sample_map")
    if err != nil {
        panic(err)
    }
    defer rows.Close()

    if rows.Next() {
        if err = rows.Scan(&sampleMap); err != nil {
            panic(err)
        }
        fmt.Printf("map with ONLY Null values: %v\n", sampleMap)
    }
}

如果是struct类型，思路一致：给struct的每个字段使用可空类型，或者自定义struct实现sql.Scanner接口，在Scan方法中处理NULL字段。

方案二：SQL查询层处理NULL（备选） #

如果不想修改Go代码，可以在Databricks查询中显式标记NULL值，比如用CASE语句将NULL转为特殊标识，再在Go中解析：

select map(
    'red', CASE WHEN red IS NULL THEN 'NULL' ELSE CAST(red AS STRING) END,
    'green', CASE WHEN green IS NULL THEN 'NULL' ELSE CAST(green AS STRING) END
) as sample_map

这种方式需要统一类型（比如转成string），灵活性较差，仅适合简单场景。

内容的提问来源于stack exchange，提问作者Gilo