约束mgcv GAM中平滑函数的响应范围

针对你遇到的s(length, by=survey)平滑项响应范围超出0-1的问题，以下是几种实用的解决方法，核心思路是通过额外惩罚或模型参数化调整约束该平滑项的取值：

方法1：添加阈值惩罚约束取值范围 #

直接给尺寸选择性平滑项添加自定义惩罚，当函数值超出[-5, 0]区间时（对应exp()后为[0.0067, 1]，符合比例要求），施加高强度惩罚，迫使曲线回到合理范围。

library(mgcv)

# 定义阈值惩罚函数：约束平滑值在[-5, 0]内
threshold_pen <- function(s) {
  y <- s$y  # 平滑函数的拟合值
  penalty <- 0
  # 上界约束：超过0的部分施加惩罚
  penalty <- penalty + sum(pmax(y, 0)^2) * 1e6
  # 下界约束：低于-5的部分施加惩罚
  penalty <- penalty + sum(pmin(y, -5)^2) * 1e6
  penalty
}

# 拟合带额外惩罚的模型
m <- gam(log(catch) ~ year + survey + s(length, by=survey, extraPen=list(threshold_pen)) + s(lon, lat), 
         family=nb(), data=your_data)

方法2：单调约束+边界值锁定（适用于单调选择性曲线） #

如果你的尺寸选择性是单调递增到1的（比如鱼越大，被捕获的比例越高，最终达到完全选择），可以结合单调约束和边界值锁定，直接让曲线在最大长度处取值为0（对应exp(0)=1），同时保证曲线单调递增，自然约束在(-∞, 0]区间。

# 提取每个调查的最大长度值
max_lengths <- tapply(your_data$length, your_data$survey, max)

# 构造线性约束：每个调查的平滑曲线在最大长度处取值为0
constrain_sel <- function(model) {
  # 生成最大长度对应的预测矩阵
  X <- predict(model, newdata=data.frame(length=max_lengths, survey=names(max_lengths)), type="lpmatrix")
  # 提取尺寸选择性平滑项的列
  sm_cols <- grep("length:survey", colnames(X))
  # 返回约束矩阵和目标值
  list(C=X[, sm_cols], c=rep(0, nrow(C)))
}

# 拟合带单调约束和边界锁定的模型
m <- gam(log(catch) ~ year + survey + s(length, by=survey, bs="cr", mono=1) + s(lon, lat), 
         family=nb(), data=your_data, linear.fun=constrain_sel)

方法3：调整模型参数化减少共线性 #

你提到平滑项可能吸收了survey等参数的方差，可以尝试将survey设为随机效应，减少固定效应带来的共线性，让选择性项更贴近真实比例：

m <- gam(log(catch) ~ year + s(survey, bs="re") + s(length, by=survey, extraPen=list(threshold_pen)) + s(lon, lat), 
         family=nb(), data=your_data)

验证结果 #

拟合完成后，通过以下代码检查选择性曲线的范围：

# 绘制尺寸选择性曲线（需取exp转换回比例）
plot(m, select=which(grepl("length:survey", names(m$smooth))), trans=exp)

内容的提问来源于stack exchange，提问作者Canadian_Marine