R中如何用dplyr生成推特用户转发频次的交叉计数数据框
推特用户转发频次交叉计数表实现方案
场景与需求说明
- 持有包含200个推特用户名的列表
username_list,需要统计列表内用户之间的转发频次 - 原始数据为长表结构的
all_text对象,简化结构如下:
screen_name retweet_screen_name 1 screen_name1 retweet_screen_name1 2 screen_name1 retweet_screen_name2 3 screen_name2 retweet_screen_name1 4 screen_name1 retweet_screen_name1 5 screen_name3 retweet_screen_name2
- 最终需要输出为宽表结构的邻接矩阵:行对应用户作为转发发起方,列对应用户作为被转发对象,单元格值为对应转发次数,示例结构:
retweet_screen_name1 retweet_screen_name2 ...... retweet_screen_name200 screen_name1 2 1 etc screen_name2 1 0 etc screen_name3 0 1 etc
现有实现的问题点
- 初始编写的
retweet.counts自定义函数仅能单次统计某一个被转发用户的计数,需要手动循环拼接列,效率低且容易出现列名不匹配、漏统计的问题 - 找到的批量统计参考代码逻辑为单列频数统计,和跨列成对关系计数的需求不匹配,无法直接套用
具体实现步骤
- 完成预清洗,对齐原有过滤逻辑
按照原有代码的时间过滤规则提前处理数据,避免重复计算:# 加载需要的包 library(dplyr) library(tidyr) cleaned_data <- all_text %>% select(screen_name, created_at, retweet_screen_name) %>% mutate(year = substr(created_at, 1, 4)) %>% # 沿用原有时间范围过滤规则 filter(year > 2017 & year < 2021) %>% # 剔除转发字段为空的无效记录 filter(!is.na(retweet_screen_name)) - 限定统计范围,避免冗余行列
仅保留你持有的200个用户名之间的转发记录,不纳入无关用户,防止生成大量全为0的冗余维度:target_scope_data <- cleaned_data %>% # 行维度:转发发起方属于目标用户名列表 filter(screen_name %in% username_list) %>% # 列维度:被转发对象属于目标用户名列表 filter(retweet_screen_name %in% username_list) - 直接生成交叉计数宽表,无需循环
采用分组计数+长转宽的标准实现,替代循环调用自定义函数的低效方案,整体计算效率比逐列拼接高两个数量级以上,针对200个用户的规模完全无性能压力:retweet_cross_matrix <- target_scope_data %>% # 按 发起方-被转发方 成对分组,统计每对的转发次数 count(screen_name, retweet_screen_name, name = "retweet_count") %>% # 长表转宽表,匹配要求的输出结构 pivot_wider( id_cols = screen_name, names_from = retweet_screen_name, values_from = retweet_count, # 无对应转发记录的位置填充0 values_fill = 0 ) - 可选:对齐行列顺序,确保和username_list完全匹配
补全缺失的行和列,调整顺序和你持有的200个用户名完全一致,避免出现维度错位:final_result <- retweet_cross_matrix %>% # 设置行索引为转发发起方 column_to_rownames("screen_name") %>% # 补全所有缺失的目标列,默认填充0 bind_cols(setNames( rep(0, length(username_list)) %>% as.list(), username_list )) %>% # 调整列顺序和username_list完全对齐 select(all_of(username_list)) %>% # 把行索引转回普通列 rownames_to_column("screen_name")
注:上述方案生成的结果本质就是社交网络分析中的转发邻接矩阵,完全匹配你要求的“行统计转发发起行为、列统计被转发对象”的结构,不需要编写循环逐列拼接。
内容的提问来源于stack exchange,提问作者mk2080
相关产品推荐
相关产品推荐

