如何在时间序列分析中统计每个时间点的全新基因数量？

针对你需要统计每个后续时间点全新基因数量的需求，推荐用Python（pandas）或R（tidyverse）批量处理，完全替代手动Excel操作，效率高且避免人为错误。以下是具体实现方法：

Python 解决方案（基于pandas） #

pandas是处理表格数据的利器，适合批量处理多数据集。

步骤1：准备环境 #

确保已安装pandas：

pip install pandas

若需读取Excel文件，额外安装openpyxl：

pip install openpyxl

步骤2：通用代码（每个时间点对比所有更早时间点） #

统计每个时间点中从未在之前任何时间点出现过的基因数量：

import pandas as pd

# 读取数据（csv或Excel）
df = pd.read_csv("your_gene_data.csv")
# 若为Excel文件，替换为：df = pd.read_excel("your_gene_data.xlsx", engine="openpyxl")

# 初始化已出现基因集合，用于快速去重查询
seen_genes = set()
new_gene_stats = {}

# 遍历每个时间点列
for time_col in df.columns:
    # 获取当前时间点的基因列表，去重并排除空值
    current_genes = set(df[time_col].dropna())
    # 筛选当前时间点的全新基因
    new_genes = current_genes - seen_genes
    # 记录数量
    new_gene_stats[time_col] = len(new_genes)
    # 更新已出现基因集合
    seen_genes.update(current_genes)

# 输出结果
print("各时间点全新基因数量：")
for tp, count in new_gene_stats.items():
    print(f"{tp}: {count}")

步骤3：适配你的需求（时间点3对比2，4对比2+3） #

若需忽略时间点1，以时间点2为基准统计：

import pandas as pd

df = pd.read_csv("your_gene_data.csv")

# 以时间点2（X2）为初始基准
base_col = df.columns[1]  # 假设X2是第二列，索引为1
seen_genes = set(df[base_col].dropna())
new_gene_stats = {base_col: 0}  # 基准时间点无对比对象，数量为0

# 遍历后续时间点（X3及以后）
for time_col in df.columns[2:]:
    current_genes = set(df[time_col].dropna())
    new_genes = current_genes - seen_genes
    new_gene_stats[time_col] = len(new_genes)
    seen_genes.update(current_genes)

print("后续时间点全新基因数量：")
for tp, count in new_gene_stats.items():
    print(f"{tp}: {count}")

批量处理多数据集 #

若有多个数据集，循环读取文件即可：

import os
import pandas as pd

data_dir = "your_data_folder"  # 存放所有数据文件的文件夹
result_df = pd.DataFrame()

for filename in os.listdir(data_dir):
    if filename.endswith(".csv"):
        df = pd.read_csv(os.path.join(data_dir, filename))
        # 复用统计逻辑
        seen_genes = set()
        stats = {}
        for time_col in df.columns:
            current_genes = set(df[time_col].dropna())
            new_genes = current_genes - seen_genes
            stats[time_col] = len(new_genes)
            seen_genes.update(current_genes)
        stats["dataset"] = filename
        result_df = pd.concat([result_df, pd.DataFrame([stats])], ignore_index=True)

# 保存所有结果
result_df.to_csv("all_datasets_stats.csv", index=False)

R 解决方案（基于tidyverse） #

tidyverse是R生态中处理数据的常用工具链，适合生物信息从业者。

步骤1：准备环境 #

安装并加载所需包：

install.packages(c("tidyverse", "readxl"))
library(tidyverse)
library(readxl)

步骤2：通用代码（每个时间点对比所有更早时间点） #

# 读取数据（csv或Excel）
df <- read_csv("your_gene_data.csv")
# 若为Excel文件，替换为：df <- read_excel("your_gene_data.xlsx")

# 转换为长格式，便于按时间点分组处理
long_df <- df %>%
  pivot_longer(cols = everything(), names_to = "time_point", values_to = "gene") %>%
  drop_na(gene)  # 移除空值

# 确保时间点顺序正确
time_order <- unique(long_df$time_point)
long_df$time_point <- factor(long_df$time_point, levels = time_order)

# 统计每个时间点的全新基因数量
new_gene_stats <- long_df %>%
  group_by(time_point) %>%
  mutate(is_new = !gene %in% long_df$gene[long_df$time_point < cur_group()$time_point]) %>%
  summarise(new_gene_count = sum(is_new))

# 查看结果
print(new_gene_stats)

步骤3：适配你的需求（时间点3对比2，4对比2+3） #

df <- read_csv("your_gene_data.csv")

# 筛选从时间点2开始的列
start_col <- colnames(df)[2]  # 假设X2是第二列
filtered_df <- df %>% select(all_of(c(start_col, colnames(df)[which(colnames(df) == start_col)+1:ncol(df)])))

long_df <- filtered_df %>%
  pivot_longer(cols = everything(), names_to = "time_point", values_to = "gene") %>%
  drop_na(gene)

time_order <- unique(long_df$time_point)
long_df$time_point <- factor(long_df$time_point, levels = time_order)

# 统计全新基因数量
new_gene_stats <- long_df %>%
  group_by(time_point) %>%
  mutate(is_new = if_else(time_point == start_col, FALSE, !gene %in% long_df$gene[long_df$time_point < cur_group()$time_point])) %>%
  summarise(new_gene_count = sum(is_new))

print(new_gene_stats)

批量处理多数据集 #

data_dir <- "your_data_folder"
file_list <- list.files(data_dir, pattern = ".csv$", full.names = TRUE)

# 定义统计函数
calc_new_genes <- function(file_path) {
  df <- read_csv(file_path)
  long_df <- df %>%
    pivot_longer(cols = everything(), names_to = "time_point", values_to = "gene") %>%
    drop_na(gene)
  time_order <- unique(long_df$time_point)
  long_df$time_point <- factor(long_df$time_point, levels = time_order)
  stats <- long_df %>%
    group_by(time_point) %>%
    mutate(is_new = !gene %in% long_df$gene[long_df$time_point < cur_group()$time_point]) %>%
    summarise(new_gene_count = sum(is_new)) %>%
    mutate(dataset = basename(file_path))
  return(stats)
}

# 批量处理并合并结果
all_stats <- map_dfr(file_list, calc_new_genes)

# 保存结果
write_csv(all_stats, "all_datasets_stats.csv")

内容的提问来源于stack exchange，提问作者GDRM