Koalas read_csv指定dtype=str时空值列被识别为非空问题咨询

• 核心原因在于Koalas对dtype=str参数的解析逻辑：

  1. 未指定dtype时，Koalas会自动推断列类型，对于全空列，会识别为支持原生空值（null）的字符串类型，这符合Spark/Koalas对缺失值的默认处理逻辑，所以能正确保留空值。
  2. 当强制指定dtype=str后，Koalas会强制将所有列值转换为Python字符串类型。CSV中的空值在这个转换过程中，会被当成Python的None对象处理，而str(None)的结果就是字符串字面量"None"，最终导致全空列被填充为这个字符串，而非原生null值。

• 补充说明：Koalas的read_csv底层结合了Spark的CSV读取器和Pandas的类型处理逻辑，指定dtype=str相当于强制关闭了自动推断nullable类型的逻辑，转而用Python字符串的规则处理所有值，缺失值也就被转成了字符串"None"。

内容的提问来源于stack exchange，提问作者KrazzyNefarious