非平衡面板PLM IV工具变量数量不足错误排查求助

问题还原 #

在非平衡面板数据集上运行随机效应IV回归，设定如下：

• 被解释变量：asinh(AECAPITA)
• 内生解释变量：asinh(TOTAL_E)、asinh(TOURISM_5KM_SUM)、asinh(TOURISM_10KM_SUM)（共3个）
• 外生解释变量：HHSIZE2、SEX（共2个）
• 工具变量：Z_b_100、tourism_5KM_ZSCORE、tourism_10KM_ZSCORE（共3个，时间不变）

运行代码后触发两个问题：

1. 报错：insufficient number of instruments（工具变量数量不足）
2. 警告：存在重复的(UNIQUE_HH_ID, YEAR)观测组合

错误原因分析 #

1. 重复观测导致的秩不足 #

面板数据中重复的id-time观测会干扰工具变量矩阵的秩计算，即使工具变量数量满足理论要求，也可能因数据冗余导致实际有效工具变量数量不足。

2. 工具变量的秩不满足识别条件 #

IV回归的核心识别条件是：工具变量矩阵的秩 ≥ 内生变量的数量。即使你有3个工具变量对应3个内生变量（恰好识别），如果工具变量之间存在线性相关，或工具变量与内生变量的相关性极弱，都会导致秩不足，触发报错。

3. 公式写法的隐性问题 #

虽然你的公式符合plm的IV语法（左侧为所有解释变量，右侧为外生变量+工具变量），但如果外生变量在数据中存在共线性，也会间接影响工具变量的有效数量。

分步解决方案 #

第一步：清理重复观测 #

先解决id-time重复的警告，这是最容易排查的问题：

# 定位重复的id-time组合
dup_ids <- df[duplicated(df[, c("UNIQUE_HH_ID", "YEAR")]), ]
print("重复的观测组合：")
print(dup_ids)

# 去重（保留每个id-time的第一条观测，可根据需求调整）
df_clean <- df[!duplicated(df[, c("UNIQUE_HH_ID", "YEAR")]), ]

第二步：检查工具变量的秩 #

验证工具变量与内生变量的线性独立性，确保满足识别条件：

library(Matrix)

# 提取内生变量矩阵（不含截距）
endog_mat <- model.matrix(
  ~ asinh(TOTAL_E) + asinh(TOURISM_5KM_SUM) + asinh(TOURISM_10KM_SUM) - 1,
  data = df_clean
)

# 提取工具变量矩阵（不含截距）
iv_mat <- model.matrix(
  ~ Z_b_100 + tourism_5KM_ZSCORE + tourism_10KM_ZSCORE - 1,
  data = df_clean
)

# 计算组合矩阵的秩
rank_result <- rankMatrix(cbind(endog_mat, iv_mat))
cat("内生变量+工具变量矩阵的秩：", rank_result, "\n")

• 如果秩小于3（内生变量数量）：说明工具变量之间或工具变量与内生变量存在共线性，需要替换工具变量，或减少内生变量的数量。
• 如果秩等于3：说明工具变量满足恰好识别的条件，可继续下一步。

第三步：修正回归代码并重新运行 #

用清理后的数据集重新运行回归，同时确保公式写法规范：

random <- plm(
  asinh(AECAPITA) ~ asinh(TOTAL_E) + asinh(TOURISM_5KM_SUM) + asinh(TOURISM_10KM_SUM) + HHSIZE2 + SEX |
    HHSIZE2 + SEX + Z_b_100 + tourism_5KM_ZSCORE + tourism_10KM_ZSCORE,
  data = df_clean,
  index = c("UNIQUE_HH_ID", "YEAR"),
  model = "random"
)

（注：将外生变量放在工具变量列表的前面，逻辑更清晰，不影响结果）

第四步：备选方案（若无法增加工具变量） #

如果无法找到更多工具变量，可尝试：

• 重新评估内生变量设定：确认是否真的需要将3个变量都视为内生变量，若能减少内生变量数量，工具变量的压力会降低。
• 检查第一阶段回归结果：运行每个内生变量对工具变量+外生变量的回归，查看工具变量的显著性，剔除对内生变量解释力极弱的工具变量，更换为相关性更强的变量。

内容的提问来源于stack exchange，提问作者Matt