大网络下运行ergm模型时R崩溃的问题求助

我拥有一个顶点数为7819、边数为273的大型无向稀疏网络，在运行ERGM模型时R频繁崩溃，且内存占用极高。测试发现，当模型包含超过4个协变量时（如在可运行的model.3a基础上添加nodecov("alt_mean")得到model.4a），程序会在执行到MPLE covariate matrix has 11982405 rows.时触发“R遇到致命错误，会话终止”，推测是内存不足导致。

相关代码与网络信息 #

网络属性 #

Network attributes:
  vertices = 7819 
  directed = FALSE 
  hyper = FALSE 
  loops = FALSE 
  multiple = FALSE 
  bipartite = FALSE 
  total edges= 273 
    missing edges= 0 
    non-missing edges= 273 

 Vertex attribute names: 
    agglosID agglosName builtUp capital class1 class2 class3 dist2capital dist2coast dist2emst dist2first dist2impr dist2paved dist2placebo16 dist2placebo22 dist2rail60 dist2rail60mil dist2rail60min dist2river dist2second first geometry ISO3 L1 Latitude Longitude mean2010 Metropole nodeID.1 notown Pop1950 Pop1960 Pop1970 Pop1980 Pop1990 Pop2000 Pop2010 Pop2015 prec_mean second sparseveg undetermined vertex.names Voronoi water 

No edge attributes

可运行模型代码 #

model.3a <- ergm(net[[1]] ~ edges+nodecov("dist2coast")+nodecov("dist2paved")+nodematch("G1SHORTNAM")+
                   nodematch("Colonization"), verbose = TRUE,
                 control = control.ergm(seed = 1, parallel= 6)) 

崩溃模型代码 #

model.4a <- ergm(net[[1]] ~ edges+nodecov("dist2coast")+nodecov("dist2paved")+nodematch("G1SHORTNAM")+
                   nodematch("Colonization")+ nodecov("alt_mean"), verbose = TRUE,
                 control = control.ergm(seed = 1, parallel= 6))     

model.3a输出 #

Evaluating network in model.
Initializing unconstrained Metropolis-Hastings proposal: ‘ergm:MH_TNT’.
Initializing model...
Model initialized.
Using initial method 'MPLE'.
Fitting initial model.
Starting maximum pseudolikelihood estimation (MPLE):
Obtaining the responsible dyads.
Evaluating the predictor and response matrix.
MPLE covariate matrix has 11982405 rows.
Maximizing the pseudolikelihood.
Finished MPLE.
Evaluating log-likelihood at the estimate. 

解决办法 #

1. 启用MPLE稀疏矩阵模式 #

ERGM默认用密集矩阵存储MPLE协变量矩阵，对于稀疏网络来说会浪费大量内存。在control.ergm()中开启MPLE.sparse = TRUE，强制使用稀疏矩阵，能大幅降低内存占用：

model.4a <- ergm(net[[1]] ~ edges+nodecov("dist2coast")+nodecov("dist2paved")+nodematch("G1SHORTNAM")+
                   nodematch("Colonization")+ nodecov("alt_mean"), verbose = TRUE,
                 control = control.ergm(seed = 1, parallel= 6, MPLE.sparse = TRUE))

如果内存仍然紧张，可以设置MPLE.max.dyads限制MPLE处理的 dyad 数量（这会得到近似MPLE结果，适合超大规模网络）：

control.ergm(seed = 1, parallel= 6, MPLE.sparse = TRUE, MPLE.max.dyads = 1e6)

2. 调整并行计算参数 #

当前设置的parallel=6会开启6个并行进程，每个进程都会占用内存，叠加后容易超出系统内存上限：

• 减少并行线程数，比如改为parallel=2或parallel=3，降低内存并发负载；
• 暂时关闭并行（parallel=1），虽然计算速度变慢，但能避免多进程内存叠加问题。

3. 预处理网络与协变量 #

• 移除孤立点：如果网络中存在没有任何边的孤立顶点，直接移除它们可以减少总dyad数量，降低计算量：

# 筛选出非孤立点并生成新网络
non_isolated <- which(degree(net[[1]]) > 0)
net_clean <- net[[1]][non_isolated, non_isolated]
# 使用清理后的网络拟合模型
model.4a <- ergm(net_clean ~ edges+nodecov("dist2coast")+nodecov("dist2paved")+nodematch("G1SHORTNAM")+
                   nodematch("Colonization")+ nodecov("alt_mean"), verbose = TRUE,
                 control = control.ergm(seed = 1, parallel= 6, MPLE.sparse = TRUE))

• 标准化协变量：对nodecov类型的协变量（如alt_mean、dist2coast）进行z-score标准化，能提升数值稳定性，避免计算中因大数值产生额外内存开销：

# 标准化alt_mean
net[[1]] %v% "alt_mean_std" <- scale(net[[1]] %v% "alt_mean")
# 模型中使用标准化后的协变量
model.4a <- ergm(net[[1]] ~ edges+nodecov("dist2coast")+nodecov("dist2paved")+nodematch("G1SHORTNAM")+
                   nodematch("Colonization")+ nodecov("alt_mean_std"), verbose = TRUE,
                 control = control.ergm(seed = 1, parallel= 6, MPLE.sparse = TRUE))

4. 更换初始估计方法 #

默认的MPLE需要处理大量dyad，改用更节省内存的初始估计方法可以跳过全量MPLE矩阵生成：

• 使用init.method = "zeros"，以全零系数作为初始值：

model.4a <- ergm(net[[1]] ~ edges+nodecov("dist2coast")+nodecov("dist2paved")+nodematch("G1SHORTNAM")+
                   nodematch("Colonization")+ nodecov("alt_mean"), verbose = TRUE,
                 control = control.ergm(seed = 1, parallel= 6, init.method = "zeros"))

• 或者使用init.method = "cd"，用条件估计替代MPLE，内存占用更低。

5. 系统层面优化 #

• 关闭R之外所有占用内存的程序，释放系统内存；
• 确保使用64位版本的R（64位R能利用更大的内存空间，32位R内存上限通常为4GB）；
• 增加系统虚拟内存（交换空间），临时缓解物理内存不足的问题。

内容的提问来源于stack exchange，提问作者Sulz