关于用R抓取2015-2023年Reddit数据开展毒品趋势研究的技术咨询

一、R是否适配你的研究？ #

完全适配。理由如下：

• 有成熟的R包专门对接Reddit数据接口，无需从零写爬虫代码；
• R的数据分析、统计建模和可视化工具（如dplyr、ggplot2）非常适合做时间维度的趋势分析；
• 即使编程基础有限，也能通过封装好的包快速完成数据抓取和初步分析，无需深入底层逻辑。

二、入门实操步骤 #

1. 准备环境 #

先安装R和RStudio（图形化界面更易操作），都是免费工具，直接官网下载安装即可。

2. 获取Reddit API访问权限 #

Reddit要求合法抓取数据必须使用API，步骤很简单：

• 注册Reddit开发者账号，创建一个"script"类型的应用；
• 记录生成的client ID和client secret（后续部分包需要用到）。

3. 用R包抓取2015-2023年数据 #

推荐用redditExtractoR包，它封装了API调用逻辑，无需手动处理复杂请求：

# 安装并加载包
install.packages("redditExtractoR")
library(redditExtractoR)

# 设置时间范围（转换为UNIX时间戳，对应2015-01-01到2023-12-31）
start_ts <- as.numeric(as.POSIXct("2015-01-01", tz = "UTC"))
end_ts <- as.numeric(as.POSIXct("2023-12-31", tz = "UTC"))

# 抓取相关帖子，可根据研究方向调整关键词和子reddit
# 比如指定子reddit：subreddit = c("Drugs", "ReagentTesting")
results <- get_reddit(
  search_terms = c("new psychoactive substances", "fake prescription drugs online", "harm reduction"),
  start_date = start_ts,
  end_date = end_ts
)

# 提取帖子核心数据到数据框
posts_data <- results$threads

4. 初步趋势分析示例 #

用dplyr和lubridate处理日期，统计年度帖子数量：

install.packages(c("dplyr", "lubridate", "ggplot2"))
library(dplyr)
library(lubridate)
library(ggplot2)

# 转换发布日期格式并提取年份
posts_data <- posts_data %>%
  mutate(post_date = as_datetime(created_utc, tz = "UTC")) %>%
  mutate(year = year(post_date))

# 按年份统计各类关键词的帖子数量
yearly_trend <- posts_data %>%
  group_by(year) %>%
  summarise(
    total_posts = n(),
    nps_posts = sum(grepl("new psychoactive substances", title, ignore.case = TRUE)),
    harm_reduction_posts = sum(grepl("harm reduction|test kit", title, ignore.case = TRUE))
  )

# 可视化年度趋势
ggplot(yearly_trend, aes(x = year, y = total_posts)) +
  geom_line(color = "blue") +
  geom_point() +
  labs(title = "Reddit毒品相关帖子年度趋势（2015-2023）", x = "年份", y = "帖子数量")

5. 针对研究方向的细化分析 #

可以通过关键词筛选不同维度的帖子：

• 销售维度：筛选包含"sell" "buy" "vendor"的帖子；
• 使用维度：筛选包含"use" "experience" "dose"的帖子；
• 供应维度：筛选包含"supply" "source" "import"的帖子；
• 减害维度：筛选包含"harm reduction" "test kit" "safe use"的帖子。

三、关键注意事项 #

• 严格遵守Reddit的API调用频率限制，避免短时间内大量请求导致账号被封禁；
• 分析时需匿名化用户信息，符合伦理研究要求；
• 若遇到代码报错或功能需求，可在社区提问时附上你的代码片段和具体问题描述。

内容的提问来源于stack exchange，提问作者Anthony Mullin