使用R语言TM包清理Twitter数据时无法完全移除HTTPS链接

解决TM包清理推文时HTTPS链接残留的问题 #

嘿，我懂你处理5万+推文时遇到的麻烦——HTTPS链接总是清不干净，残留的字符确实让人头疼。咱们来一步步解决这个问题：

问题根源 #

你之前用的正则表达式https:[[:alnum:]]*只能匹配https:后面的字母数字，但实际推文里的链接包含//、/、.这些非字母数字字符，所以匹配不完整，导致残留了tcodbhamswec这类字符。后来尝试的正则也没覆盖所有链接结构，所以还是有漏网之鱼。

解决方案：用更全面的正则匹配所有HTTP/HTTPS链接 #

我们可以用一个更通用的正则表达式来匹配所有以http或https开头的完整链接，包括链接里的各种特殊字符。修改后的代码如下：

tweets_corp <- Corpus(VectorSource(the_tweets))

# 定义能匹配所有HTTP/HTTPS链接的移除函数
urlRemover <- function(x) gsub("https?://\\S+", "", x)
twitterHandleRemover <- function(x) gsub("@\\S+", "", x)
hashtagRemover <- function(x) gsub("#\\S+", "", x)

cleaner <- function(tweets_corp){
  tweets_corp <- tm_map(tweets_corp, removeNumbers)
  # 优先移除所有链接，避免后续步骤干扰
  tweets_corp <- tm_map(tweets_corp, content_transformer(urlRemover))
  tweets_corp <- tm_map(tweets_corp, content_transformer(twitterHandleRemover))
  tweets_corp <- tm_map(tweets_corp, content_transformer(hashtagRemover))
  tweets_corp <- tm_map(tweets_corp, removePunctuation)
  tweets_corp <- tm_map(tweets_corp, content_transformer(tolower))
  return(tweets_corp)
}

正则表达式解释 #

• https?：匹配http或者https（?表示s是可选字符）
• ://：精准匹配链接中的://部分
• \\S+：匹配所有非空白字符，这样就能把从链接开头到下一个空格前的所有内容都选中并删除

额外优化（如果还有短链接残留） #

如果推文里存在类似t.co/Dbha6MsWec这种没有http开头的短链接，可以在urlRemover里补充一个规则：

urlRemover <- function(x) {
  x <- gsub("https?://\\S+", "", x)
  x <- gsub("\\bt\\.co/\\S+", "", x) # 移除t.co开头的短链接
  return(x)
}

用这个修改后的函数处理你给出的示例推文：

#ignore [example] and [] #SONA2019 #DUTShooting #WitsShutdown https:[example][//t.co]/Dbha6MsWec

清理后链接部分会被完全移除，不会再残留tcodbhamswec或dbhamswec这类字符啦。

内容的提问来源于stack exchange，提问作者Emm