读取非标准空格分隔数据构建GLM模型及Julia NullableArray报错问题

我来帮你一步步解决这两个Julia数据处理和建模的问题：

非标准空格（比如多个连续空格、空格+制表符混合）的数据集，咱们可以通过CSV.jl的正则分隔符参数轻松读取，具体步骤如下：

1. 先安装并加载必要的包：

   using Pkg
   Pkg.add(["CSV", "DataFrames", "GLM"])
   using CSV, DataFrames, GLM
   

2. 读取非标准空格分隔的数据：
   用delim=r"\s+"指定匹配任意数量的空白字符作为分隔符，同时根据数据情况设置表头参数：

   # 如果数据有表头
   df = CSV.read("your_data_file.txt", DataFrame, delim=r"\s+", header=true)
   # 如果无表头，手动指定列名
   df = CSV.read("your_data_file.txt", DataFrame, delim=r"\s+", header=false, column_names=[:Col1, :Col2, :Col3])
   

3. 构建GLM模型：
   根据需求选择合适的模型类型，比如线性回归（GLM的特例）或者广义线性模型：

   # 线性回归模型
   linear_model = lm(@formula(DependentVar ~ IndependentVar1 + IndependentVar2), df)
   # 广义线性模型（比如逻辑回归）
   glm_model = glm(@formula(DependentVar ~ IndependentVar1 + IndependentVar2), df, Binomial(), LogitLink())
   

针对你读取baby.dat文件遇到的NullableArray兼容问题，咱们从根源上解决：

核心原因 #

旧版本的CSV.jl会用NullableArray存储可能含缺失值的列，但GLM.jl对这种类型支持不佳；新版本Julia生态已经改用Union{Missing, T}类型替代NullableArray，所以优先考虑升级包+调整读取参数。

具体解决步骤 #

1. 升级相关包到最新版本：
   这是最关键的一步，新版本的CSV和DataFrames已弃用NullableArray，改用原生的missing类型，GLM也支持这种类型：

   Pkg.update(["CSV", "DataFrames", "GLM"])
   

2. 重新读取数据，明确控制列类型与缺失值处理：
   baby.dat是制表符分隔文件，读取时指定分隔符为\t，同时明确列类型、缺失值标识，避免生成NullableArray：

   # 假设baby.dat的列依次是bwt, gest, parity, age, height, weight, smoke
   df = CSV.read("baby.dat", DataFrame, delim='\t', 
                 types=Dict(:bwt=>Int64, :gest=>Int64, :parity=>Int64, :age=>Int64, :height=>Int64, :weight=>Int64, :smoke=>Int64),
                 missingstrings=[""],  # 根据数据实际缺失值标识调整
                 allowmissing=false)   # 如果确定无缺失值，直接禁用missing类型
   

3. 处理已读取的NullableArray数据：
   如果已经读取成NullableArray，先清理缺失值再转换为普通数组：

   # 方法1：删除含缺失值的行
   clean_df = dropmissing(df)
   # 方法2：用默认值替换缺失值（比如用列均值替换数值型缺失）
   df.bwt = coalesce.(df.bwt, round(Int, mean(skipmissing(df.bwt))))
   # 转换为普通Vector类型
   df.bwt = convert(Vector{Int64}, df.bwt)
   

4. 拟合GLM模型：
   用清理后的数据集建模即可：

   model = lm(@formula(bwt ~ gest + parity + age + height + weight + smoke), clean_df)
   

内容的提问来源于stack exchange，提问作者Hamlet