为何Dask数组占用内存远大于原15GB CSV文件？

我用du -sh filename.txt查到一份存储二进制值的TSV文件大小为15GB，但通过Dask加载后，内存占用达到54.58GiB（约55GB），是原文件的4倍左右。加载代码如下：

cluster = LocalCluster()  # 本地启动调度器和工作节点
client = Client(cluster)  # 连接分布式集群并覆盖默认延迟设置
input_file_name = 'filename.txt'

@delayed
def load_file(fname, dtypes=dtypes):
    ddf = dd.read_csv(input_file_name, sep='\t', dtype=dtypes) # dtypes是{列名:bool}的字典
    arr = ddf.to_dask_array(lengths=True)
    return arr
result = load_file(input_file_name)

arr = result.compute()
arr

加载后的数组信息：

我尝试通过指定bool类型的dtype来缩减内存，但完全没用，请问这种现象正常吗？

原因分析 #

1. object类型是内存暴涨的核心：从数组信息里看到Type是object，说明你的bool dtype指定根本没生效，Dask把每一列都当成Python对象存储了。每个Python bool对象本身就占28字节左右，再加上内存对齐，实际占用比原生numpy bool的1字节大得多，直接导致内存翻几倍。
2. 非标准二进制值导致解析失败：如果你的TSV里的二进制值不是1/0或True/False这类标准格式（比如是t/f、Y/N或者带空格的字符串），就算指定dtype=bool，Dask也没法正确解析，只能 fallback 到object类型。
3. 多余的@delayed装饰器：dd.read_csv本身就是延迟计算的Dask DataFrame，再用@delayed包装纯属多余，反而可能打乱Dask的类型推断和优化逻辑。

解决方法 #

• 修复bool类型解析逻辑：
  先检查文件里的二进制值格式，如果是非标准格式，写个自定义转换器：

  def str_to_bool(s):
      # 根据你的实际值调整判断条件
      return s.strip() in {'1', 't', 'True', 'Y'}
  
  # 用converters参数指定每列的转换函数
  ddf = dd.read_csv(input_file_name, sep='\t', converters={col: str_to_bool for col in dtypes.keys()}, dtype=dtypes)
  

  如果是标准格式，务必确认dtypes字典里的列名和文件中的列名完全一致（大小写、空格都不能错）。
• 删掉多余的@delayed：
  直接用Dask原生API加载即可：

  cluster = LocalCluster()
  client = Client(cluster)
  input_file_name = 'filename.txt'
  
  ddf = dd.read_csv(input_file_name, sep='\t', dtype=dtypes)
  arr = ddf.to_dask_array(lengths=True)
  arr_computed = arr.compute()
  

• 验证类型是否生效：
  加载后先检查列类型，确认是不是都变成bool了：

  print(ddf.dtypes)
  

补充说明 #

如果类型正确转为bool，内存占用会大幅下降：按你的数组形状(1787307, 4099)算，总共有约7.33亿个元素，原生numpy bool每个占1字节，总内存应该在7GB左右（加上Dask的少量开销，也远低于55GB）。要是还是没生效，优先排查列名匹配、转换器是否正确应用的问题。

内容的提问来源于stack exchange，提问作者spo