如何基于docvar变量值重塑Quanteda文本语料库？

问题背景 #

使用quanteda处理已拆分为句子的文本语料库时，corpus_reshape()可实现句子与原文档单元的切换，但如果需要基于docvars中的特定变量（如示例中的dummy_var）将原文档拆分为不同组的新文档——比如将示例中的2个原文档按dummy_var拆分为4个新文档——需要特定的处理方法。

示例代码如下：

# 加载quanteda包
library(quanteda)

# 模拟语料库文本
texts <- c(
  "Document one text. It has several sentences. Here is another sentence.",
  "Document two is slightly longer. It has more sentences. This is the third sentence. And here is the fourth."
)

# 创建dummy变量
docvars <- data.frame(dummy_var = c(1,0,1,0,1,0,1))

# 将语料库拆分为句子
my_corpus <- corpus(texts) %>% corpus_reshape(to = "sentences")

# 为句子设置docvars
docvars(my_corpus) <- docvars

# 按dummy_var重塑语料库？
...

高效实现方法 #

可以通过分组聚合句子+重建语料库的方式实现，核心是保留原文档的标识，按原文档和目标变量分组合并句子：

# 为每个句子添加原文档ID
docvars(my_corpus, "original_docid") <- docid(my_corpus)

# 转换为数据框并分组聚合
library(dplyr)
corpus_df <- convert(my_corpus, to = "data.frame") %>%
  group_by(original_docid, dummy_var) %>%
  summarise(text = paste(text, collapse = " "), .groups = "drop")

# 重建语料库
new_corpus <- corpus(corpus_df$text)
# 设置新语料库的docvars
docvars(new_corpus) <- corpus_df %>% select(original_docid, dummy_var)

执行后new_corpus会包含4个文档：每个原文档对应dummy_var=1和dummy_var=0的两组内容，符合预期。

研究思路的缺陷分析 #

你提出的“拆分文档为两组→分词→转DFM→用wordfish等缩放模型比较立场方差”的思路，存在以下潜在问题：

• 样本量不足导致估计不稳定：如果分组后的子文档句子数量过少（比如示例中部分分组只有1-2个句子），wordfish等模型的立场得分估计误差会很大，方差的统计可靠性极低。
• 违反独立性假设：同一原文档的句子共享语境、主题或立场，拆分后的子文档并非独立样本，这会干扰模型的参数估计，导致方差结果出现偏差。
• 方差测量的有效性问题：若仅用wordfish得分的方差来衡量“左右立场差异”，需要确保得分能准确反映立场，且分组内的样本量足够支撑稳定的方差计算，否则结果不具备统计学意义。
• 混淆变量未控制：若dummy_var的分组规则与其他潜在变量相关（比如句子在文档中的位置），可能误将其他因素的影响归因于分组差异，需要提前排除这类混淆。

内容的提问来源于stack exchange，提问作者Dr. Fabian Habersack