PyArrow Flight读写Exasol时pa.Table空字符串转为NULL问题排查

• 明确结论：该问题并非由PyArrow的FlightDescriptor或FlightClient配置选项直接导致，核心原因通常出在PyArrow与Exasol的类型映射逻辑、Exasol端的会话配置，或是Flight SQL适配器的处理规则上。

• 写入时空字符串转NULL的原因：
  PyArrow的字符串类型（pa.string()）本身明确区分空字符串和NULL，但Exasol的Flight SQL适配器可能存在默认映射规则——将空字符串当作NULL处理。这是部分数据库适配层的常见行为，目的是兼容某些场景下的空值语义，但并非由FlightClient或FlightDescriptor的配置项控制。

• 读取时替换无效的原因：
  即便在Exasol查询中用COALESCE(col, '')显式把NULL替换为空字符串，返回的PyArrow表仍显示NULL，大概率是因为Exasol返回的结果类型仍被识别为可空字符串类型，适配器在转换时没有正确将替换后的空字符串映射为PyArrow的空字符串，反而保留了NULL标记。这通常和适配器的类型转换逻辑有关，和FlightClient的配置无关。

• 可行的解决方向：

  1. 检查Exasol会话参数：Exasol有控制空字符串与NULL转换的参数，比如TREAT_EMPTY_STRING_AS_NULL，可尝试在连接会话中执行SET TREAT_EMPTY_STRING_AS_NULL = FALSE。
  2. 显式指定列类型：写入前通过Flight SQL的DDL语句显式定义目标表的列类型为VARCHAR，避免适配器自动推断类型时出现兼容问题，确保PyArrow的空字符串能被正确映射。
  3. 自定义转换逻辑：读取时在PyArrow层面手动处理，比如用pa.compute.fill_null(col, replacement='')把列中的NULL替换为空字符串；写入前也可确认PyArrow表的字符串列类型为非空，避免适配器误判。

内容的提问来源于stack exchange，提问作者altabq