如何在R中将多列字符串合并到单列多行并完成去重操作

我来帮你搞定这个基因名整理的需求，不管用R还是Linux/Mac终端都有简洁的实现方式，下面分两种方法详细说明：

R 解决方案（推荐，灵活可控） #

首先我们先模拟你的数据框方便测试，你可以直接替换成自己的真实数据：

# 模拟你的原始数据框（NA对应空单元格）
df <- data.frame(
  Q = 1:5,
  `1` = c("A", "D", "H", "X", "A"),
  `2` = c("A", "E", "I", "Y", "E"),
  `3` = c("B", "F", NA, "Y", "F"),
  `4` = c("C", NA, "C", "Y", "C"),
  `5` = c("C", NA, "C", "Z", "Z"),
  stringsAsFactors = FALSE
)

接下来用tidyverse工具链处理，步骤清晰易懂：

library(tidyverse)

# 1. 把宽格式数据转成基因名的长格式，过滤空值
long_format <- df %>%
  pivot_longer(cols = -Q,  # 排除原行号列Q
               names_to = NULL,  # 不需要保留原列名
               values_to = "gene") %>%  # 基因名存入gene列
  filter(!is.na(gene))  # 去掉空值

# 2. 提取唯一基因名，可选按出现顺序或字母排序
# 按首次出现顺序保留唯一值
unique_genes <- long_format %>% distinct(gene)
# 如果想按字母排序，加上arrange(gene)：
# unique_genes <- long_format %>% distinct(gene) %>% arrange(gene)

# 3. 整理成你要的最终格式
# 选项1：单列格式（列名为Q，值为基因名）
final_df <- tibble(Q = unique_genes$gene)

# 选项2：带序号的格式（第一列是序号，第二列是基因名，列名为Q）
final_df <- tibble(
  id = 1:nrow(unique_genes),
  Q = unique_genes$gene
)

运行后final_df就是你要的结果，完全避免了Excel手动处理的麻烦，适配基因名频繁变动的场景。

Linux/Mac Terminal 解决方案 #

如果更习惯用终端处理，先把R数据框导出为制表符分隔的txt文件：

# 导出数据，空值存为空白字符串
write.table(df, "raw_genes.txt", sep = "\t", row.names = FALSE, na = "")

然后在终端执行以下命令，一步到位提取唯一基因名并添加序号：

方式1：按基因名字母排序后去重 #

# 提取所有非空基因名 → 排序去重 → 添加行号输出
awk 'BEGIN{OFS="\t"} NR>1 {for(i=2; i<=NF; i++) if($i != "") print $i}' raw_genes.txt | sort -u | awk '{print NR, $0}' > final_genes.txt

方式2：按基因首次出现顺序去重（不排序） #

# 用awk数组记录已出现的基因，只保留首次出现的 → 添加行号输出
awk 'BEGIN{OFS="\t"} NR>1 {for(i=2; i<=NF; i++) if($i != "" && !seen[$i]++) print $i}' raw_genes.txt | awk '{print NR, $0}' > final_genes.txt

执行后final_genes.txt就是整理好的结果，可直接导入R或其他工具使用。

内容的提问来源于stack exchange，提问作者Miyii