Spark读取分布式Fasta文件：现有代码能否正确提取序列？

咱们先把问题理清楚：你手里有多个单文件大小达120GB的大型Fasta文件，分布式存储在Spark集群中，想要隔行提取序列，现在用了一段Scala代码，不确定能不能把所有序列都完整抓出来。

首先明确标准Fasta文件的结构：以>开头的ID行和序列行交替出现，示例如下：

>ID_1
ACGTAGCATGC
>ID_2
AGCTAGTACATC

你当前使用的Scala代码是这样的：

val sequences = sc.textFile("path/to/directory").sliding(2, 2).map{case Array(id, seq) => seq}

核心结论：这段代码无法提取所有序列 #

问题出在Spark的分区机制和sliding操作的局限性上：
Spark的textFile会把大文件拆分成多个独立分区，每个分区只处理自己范围内的行。而sliding(2,2)是在单个分区内部做滑动窗口，将相邻两行配对。这就会遇到致命的跨分区问题：
如果一个Fasta的ID行刚好落在某个分区的最后一行，对应的序列行却在下一个分区的第一行，这对ID-序列就会被拆分到两个分区里，sliding完全抓不到它们——不仅会触发MatchError（因为Array(id, seq)的模式匹配失败），还会直接丢失这组序列。

举个直观的例子：

• 分区1的最后一行是>ID_100
• 分区2的第一行是GCTAGCTAGC
  这时候sliding在分区1里只会处理到倒数第二行，分区2里从第一行开始滑动，这对ID-序列就彻底被漏掉了。

靠谱的改进方案 #

要解决跨分区问题，核心是按每个文件内部的行顺序判断ID行和序列行，而不是依赖分区内的行顺序。这里给你两种实用的方案：

方案1：Spark SQL给每个文件内的行编号（推荐） #

利用窗口函数给每个文件里的行按顺序编号，再筛选出序列行（偶数行，假设ID行是第1行）：

import org.apache.spark.sql.functions._
import org.apache.spark.sql.expressions.Window

// 读取文本文件，添加文件名和文件内行号
val seqDF = spark.read.text("path/to/directory")
  .withColumn("file_name", input_file_name())
  .withColumn(
    "row_in_file",
    row_number().over(Window.partitionBy("file_name").orderBy(monotonically_increasing_id()))
  )
  // 筛选序列行（ID行是第1行，序列行是第2、4、6...行）
  .filter(col("row_in_file") % 2 === 2)
  .select("value")

这个方案能保证每个文件内的行顺序不受分区影响，不管文件怎么拆分，都能准确提取所有序列行。

方案2：RDD分区状态跟踪（进阶） #

如果坚持用RDD API，可以通过mapPartitionsWithIndex跟踪每个分区的末尾行（如果是ID行，就传递到下一个分区），实现跨分区的ID-序列配对。不过这种方法需要额外处理分区间的状态传递，实现起来更复杂，不如SQL方案简洁可靠。

最后总结 #

你当前的代码因为没考虑Spark的分区跨线问题，会丢失部分跨分区的序列。改用基于文件内行编号的SQL方案，就能稳定提取所有序列了。

内容的提问来源于stack exchange，提问作者xgaia