如何查找职业分布相似的国家?基于pandas与Tableau的技术咨询
职业分布相似度与相关性分析实现方案
以下分别给出pandas代码实现和Tableau可视化实现的可落地路径:
基于pandas的实现方法
1. 数据预处理(核心步骤,消除人口规模差异)
首先把长格式的原表转换为以国家为行、职业为列的宽表,再做行归一化得到每个国家各职业的人数占比,避免总人口差异对相似度计算的干扰:
import pandas as pd # 长表转宽表,缺失值(某国无该职业统计)填0 df_pivot = df.pivot_table( index="country", columns="profession", values="count", fill_value=0 ) # 行归一化:每行所有值除以该行总和,得到职业占比 df_pivot_norm = df_pivot.div(df_pivot.sum(axis=1), axis=0) # 可选:过滤占比极低的冷门职业,降低噪声干扰 df_pivot_norm = df_pivot_norm.loc[:, df_pivot_norm.max() > 0.001]
2. 计算国家间职业分布相关性
直接对归一化后的宽表转置后计算相关系数,得到的60×60矩阵就是所有国家两两之间的分布相关性,数值越接近1说明职业分布越相似:
# 国家间相关系数矩阵 country_corr = df_pivot_norm.T.corr() # 示例:提取和A国职业分布最相似的前5个国家 top_similar = country_corr["A国"].sort_values(ascending=False).head(6)[1:]
3. 聚类划分相似国家群组
如果需要把相似度高的国家归为一类,可以用聚类算法实现:
- 用KMeans聚类可直接输出分组标签,聚类数可通过手肘法调整
- 用层次聚类可生成树状图,直观展示所有国家的相似度远近关系
基于Tableau的实现方法
1. 基础计算字段准备
导入数据源后新建计算字段职业占比,公式为:
SUM([count]) / TOTAL(SUM([count]))
计算时选择按「国家」维度分区,得到每个国家内部各职业的人数占比。
2. 相关性可视化
- 将「国家」分别拖到行功能区和列功能区
- 将「职业」拖到标记卡的「详细信息」,将「职业占比」拖到标记卡的「颜色」
- 顶部菜单栏选择「分析→相关系数」,即可生成国家间相关性热力图,颜色越深代表相关性越高、职业分布越相似
3. 相似国家自动聚类
- 将「国家」拖到视图,将所有职业的「职业占比」度量拖到标记卡的「详细信息」
- 打开左侧「分析」面板,选择「聚类」,按需设置聚类数量后,Tableau会自动把职业分布相似的国家归为同一类
- 也可搭配散点图、树状图直观展示分组结果,或者做对称条形图对比任意两个国家的职业分布差异
内容的提问来源于stack exchange,提问作者SunriderDestiny
相关产品推荐
相关产品推荐

