如何在DataFrame中实现Spark SQL的LIMIT ALL等价功能？

在Spark SQL里，LIMIT ALL 本质就是不对返回行数做任何限制，直接返回所有行。对应到DataFrame API中：

• 无需调用limit方法：默认情况下，DataFrame本身就会返回所有行，这和SQL里的LIMIT ALL效果完全一致。
• 不能执行df.limit("ALL")：DataFrame的limit方法仅接受整数类型参数，用于指定返回的最大行数，传入字符串"ALL"会直接触发报错。

如果出于代码语义统一的需求，想显式表达“返回所有行”的逻辑，可采用以下方式：

• 传入一个远大于数据总行数的整数，比如df.limit(Int.MaxValue)，但这种方式没必要，直接使用原DataFrame更简洁高效。
• 直接赋值原DataFrame，比如val allRowsDf = df，这就是最直接的等价实现。

内容的提问来源于stack exchange，提问作者David