PySpark中df.tail()返回数据与head()一致，有哪些替代方案？

PySpark DataFrame属于分布式无默认顺序的结构，除非你显式指定了排序逻辑，否则head()、tail()的返回结果不保证和原始文件的物理行顺序一致，极端场景下就会出现二者返回内容完全相同的情况，和文件读取时的分区规则、集群节点的数据分布都有关系。

• 方案1：读取原始文本文件生成行索引后查询首尾
  该方案适用于无固定排序字段的任意文本类文件，可完美匹配原始文件的物理顺序

  import pyspark.sql.functions as F
  
  # 读取原始文本文件，如果是带表头的csv文件可切换为spark.read.csv("路径", header=True)读取
  df = spark.read.text("你的大文件路径")
  # 生成全局递增行索引，直接读取后生成可对应原始文件行顺序
  df_with_rowid = df.withColumn("row_id", F.monotonically_increasing_id())
  # 取前10条头部数据
  head_rows = df_with_rowid.orderBy("row_id", ascending=True).limit(10).collect()
  # 取后10条尾部数据，最后再按正序排列保证显示顺序和文件尾部顺序一致
  tail_rows = df_with_rowid.orderBy("row_id", ascending=False).limit(10).orderBy("row_id", ascending=True).collect()
  
  # 打印结果
  print("文件头部10行：")
  for row in head_rows:
      print(row.value)
  print("\n" + "="*50 + "\n")
  print("文件尾部10行：")
  for row in tail_rows:
      print(row.value)
  

  注意：使用monotonically_increasing_id()生成行索引时，需要保证读取文件后没有执行过重分区、关联、聚合等会触发shuffle的操作，否则生成的索引无法对应原始文件的行顺序。

• 方案2：使用业务自带的排序字段取首尾
  如果你处理的是结构化数据（csv/parquet/orc等），且存在全局唯一且递增的业务字段（如自增ID、上报时间戳、日志序列号等），直接用该字段排序性能远高于生成索引的方案

  # 示例用parquet格式的结构化数据，排序字段为自增主键id
  df = spark.read.parquet("你的结构化文件路径")
  # 取头部10条
  head_rows = df.orderBy("id", ascending=True).limit(10).collect()
  # 取尾部10条
  tail_rows = df.orderBy("id", ascending=False).limit(10).orderBy("id", ascending=True).collect()
  

• 方案3：直接用shell命令快速查看
  如果仅需要临时查看文件首尾，不需要后续用Spark处理数据，可以直接调用存储层对应的命令，避免Spark任务启动开销

  # HDFS存储文件
  hdfs dfs -cat hdfs://文件路径 | head -n 10 # 头部10行
  hdfs dfs -cat hdfs://文件路径 | tail -n 10 # 尾部10行
  
  # 本地存储文件
  head -n 10 本地文件路径
  tail -n 10 本地文件路径
  

内容的提问来源于stack exchange，提问作者Gonza