使用Dask读取含复杂字段的JSON Lines文件时的dtype匹配问题

当使用Dask读取包含复杂字段的JSON Lines文件时，无法获取正确的数据类型。

JSON Lines文件内容：

{"col1": "some text", "col2": ["a", "b", "c"]}

我设置dataframe.convert-string为False，期望让Dask将第二列读取为字符串列表，但此时两列的数据类型均为object。若提供显式数据类型，则会出现元数据不匹配错误。请问如何正确设置数据类型，使字符串列为string类型、复杂列为object类型？或者两列均设为object类型是否可行？

相关代码：

import dask.dataframe as dd
from dask import config

df = dd.read_json('df.jsonl', orient='records', lines=True)
df.dtypes
# col1    string[pyarrow]
# col2    string[pyarrow]    ## WRONG!
# dtype: object

config.set({'dataframe.convert-string': False})

df = dd.read_json('df.jsonl', orient='records', lines=True)
df.dtypes
# col1    object
# col2    object
# dtype: object

df = dd.read_json('df.jsonl', orient='records', lines=True,
                  metadata={'col1': 'string[pyarrow]',
                            'col2': 'object'})
df.dtypes
# col1    string[pyarrow]
# col2             object
# dtype: object

df.head()
# ValueError: Metadata mismatch found in `from_delayed`.

解决方案 #

1. 分步骤处理数据类型
   先以dataframe.convert-string=False读取文件（此时两列均为object类型），再单独将col1转换为string类型：

import os
import dask.dataframe as dd
from dask import config

config.set({'dataframe.convert-string': False})
df = dd.read_json('df.jsonl', orient='records', lines=True)
# 将col1转换为string[pyarrow]类型
df['col1'] = df['col1'].astype('string[pyarrow]')

print(df.dtypes)
# col1    string[pyarrow]
# col2             object
# dtype: object

# 验证数据正常读取
print(df.head())
#        col1        col2
# 0  some text  [a, b, c]

这种方式避开了元数据不匹配的问题，同时精准实现了col1为string类型、col2为object类型的需求。

2. 两列均设为object类型的可行性
   完全可行。如果业务逻辑对col1的string类型没有强制要求，直接使用dataframe.convert-string=False读取的object类型数据可以正常处理字符串操作，仅在内存效率和类型安全性上略逊于专门的string类型。

3. 显式metadata报错的解决思路
   报错源于Dask实际读取的分区数据类型与指定的metadata不匹配。若一定要用metadata参数，需确保每个分区的实际类型与metadata完全一致，可通过指定blocksize为文件大小（确保单分区）实现，但仅适合小文件：

df = dd.read_json('df.jsonl', orient='records', lines=True,
                  metadata={'col1': 'string[pyarrow]', 'col2': 'object'},
                  blocksize=os.path.getsize('df.jsonl'))
df.head()

大文件多分区场景下，这种方法容易出现类型不一致问题，因此更推荐第一种分步骤转换的方案。

内容的提问来源于stack exchange，提问作者raywib