如何使用Python基于pgmpy实现调研数据的贝叶斯网络结构学习

1. 依赖环境安装 #

首先安装所需的Python库，执行命令：
pip install pgmpy pandas numpy networkx matplotlib
其中pgmpy是核心的贝叶斯网络实现库，pandas用于数据处理，networkx和matplotlib用于后续网络结构可视化。

2. 数据预处理 #

贝叶斯网络结构学习算法默认适配离散型变量，你需要先对调研数据做如下处理：

• 清理缺失值：可直接删除缺失样本，或用众数/领域默认值填充
• 离散化连续变量：如果数据中有连续数值型变量，使用pd.cut()或pd.qcut()做分箱处理，建议每个变量的离散取值控制在5个以内，避免计算量爆炸
• 格式转换：将处理后的数据转为pandas DataFrame格式，每列对应一个变量，每行对应一份调研样本

3. 不同结构学习算法的实现 #

先导入核心模块：

import pandas as pd
from pgmpy.estimators import PC, HillClimbSearch, BicScore, K2Score

假设你预处理完成的DataFrame变量名为survey_data。

3.1 PC算法 #

PC是基于约束的结构学习算法，不需要预先指定评分规则：

pc_estimator = PC(survey_data)
pc_model = pc_estimator.estimate(show_progress=False)
# 输出学习到的依赖边
print("PC算法学习到的边：", pc_model.edges())

3.2 爬山算法（Hill Climbing） #

爬山算法是基于评分的启发式搜索算法，需要指定评分函数，常用BIC评分：

hc_estimator = HillClimbSearch(survey_data)
hc_model = hc_estimator.estimate(
    scoring_method=BicScore(survey_data),
    max_indegree=3, # 限制每个节点的最大入度，避免过拟合
    show_progress=False
)
print("爬山算法学习到的边：", hc_model.edges())

3.3 Tabu搜索 #

Tabu搜索是爬山算法的改进版本，通过禁忌列表避免陷入局部最优，只需要在爬山算法的基础上增加tabu_length参数：

tabu_model = hc_estimator.estimate(
    scoring_method=BicScore(survey_data),
    max_indegree=3,
    tabu_length=10, # 禁忌列表长度，可根据实际情况调整
    show_progress=False
)
print("Tabu算法学习到的边：", tabu_model.edges())

3.4 K2算法 #

K2算法要求预先给定变量的拓扑顺序，顺序需要基于你的调研领域知识确定，会直接影响最终学习效果：

# 替换为你自己的变量顺序，按照因果发生的先后排列
var_order = ['变量1', '变量2', '变量3', '变量4']
k2_model = hc_estimator.estimate(
    scoring_method=K2Score(survey_data),
    fixed_order=var_order,
    max_indegree=3,
    show_progress=False
)
print("K2算法学习到的边：", k2_model.edges())

4. 模型效果对比 #

你可以通过以下两个维度选择最优的网络结构：

• 量化评分：计算每个模型的BIC评分，评分越低说明模型拟合效果越好，示例代码：print(BicScore(survey_data).score(pc_model))
• 合理性校验：对比学习到的依赖边是否符合你的调研领域常识，剔除明显不符合逻辑的因果关系

5. 后续操作 #

确定最终的网络结构后，你可以继续做参数学习和概率推断：

• 参数学习：使用model.fit(survey_data)即可学习每个节点的条件概率表
• 概率推断：导入pgmpy的VariableElimination类，即可输入已知变量的取值，推断其他变量的概率分布

注意事项 #

• 样本量低于100份时结构学习结果会不稳定，建议做交叉验证取多次运行的公共边作为最终结果
• 变量数量超过15个时计算效率会大幅下降，建议先基于领域知识筛选核心变量再做结构学习

内容的提问来源于stack exchange，提问作者Salma AlBreiki