如何确保Pandas写入Azure数据湖的空白列读取后仍为空白？

问题核心：Pandas默认读取CSV时会将空字符串解析为NaN（即你看到的Null），以下纯Pandas方案可解决该问题：

方案1：读取时禁用空串转NaN #

从Azure Data Lake读取CSV文件时，通过keep_default_na和na_values参数强制Pandas保留空串：

import pandas as pd
df = pd.read_csv(temp_path_pd, keep_default_na=False, na_values=[])

方案2：写入+读取双向保障 #

写入时显式指定空值表示为空白字符串，配合读取配置彻底避免转换：

修改写入代码 #

temp_file.to_csv(temp_path_pd, index=False, na_rep='')

读取代码同方案1 #

方案3：显式锁定列类型为object #

添加列时强制指定object类型，防止Pandas自动转换类型导致空串丢失：

def add_default_columns(df):
    default_values = {
        'A': '',
        'B': '',
        'C': '',
        'Direction': 'D',
    }
    for col, value in default_values.items():
        # 生成指定类型的Series赋值，确保列类型为object
        df[col] = pd.Series([value]*len(df), dtype='object')
    return df

最优组合 #

将方案3（锁定列类型）+ 方案2（写入配置）+ 方案1（读取配置）结合使用，能最大程度保证空串在读写Azure Data Lake的过程中不被转为Null。

内容的提问来源于stack exchange，提问作者userrrr