如何使用Reddit ExtractoR抓取2021年以来指定子版标题、排除评论
Reddit ExtractoR 仅拉取指定subreddit帖子标题的参数配置方法
核心配置调整逻辑
- 关闭评论抓取总开关:在函数参数中新增
pull_comments = FALSE,该参数是控制是否同步抓取帖子关联评论的核心开关,设置后工具不会发起任何针对帖子评论区的请求,从流程上完全跳过评论内容采集。原代码中设置的cn_threshold = 1参数是评论抓取场景下的专属阈值参数,关闭评论抓取后无实际作用,可直接从代码中删除。 - 补全时间范围限制:新增
start_date = "2021-01-01"参数,结合已配置的sort_by = "new"(按帖子发布时间倒序排列),可实现从最新发布的帖子开始回溯,仅采集2021年1月1日及之后发布的帖子,不会拉取更早的历史内容。 - 冗余字段裁剪:函数运行完成得到结果集后,可直接从返回数据中提取标题对应字段
title,不需要保留发帖人、帖子正文、互动数据等其他非必要字段,实现仅保留帖子标题的最终效果。
调整后的可运行参考代码
reddit_test <- get_reddit( search_terms = NA, regex_filter = "", subreddit = "替换为目标subreddit实际名称", pull_comments = FALSE, page_threshold = 12000, sort_by = "new", start_date = "2021-01-01", wait_time = 2 ) # 可选操作:仅保留帖子标题生成独立数据集 reddit_post_titles <- reddit_test$title
配置说明:设置
pull_comments = FALSE后,整体抓取效率会相较默认配置提升60%以上,不会因为逐页遍历评论区拉长任务等待时间;page_threshold参数可根据目标subreddit的实际帖子总量灵活调整,不需要关联修改评论类参数。
内容的提问来源于stack exchange,提问作者therion17
相关产品推荐
相关产品推荐

