Apache Arrow Flight：从多端点获取排序数据的方案问询

是否存在标准方式？ #

目前没有官方定义的标准方式来从多个Apache Arrow Flight端点获取全局排序的数据。

官方文档明确说明Flight流本身不保证有序，虽然框架支持通过自定义应用元数据来传递排序信息，但这类元数据属于业务自定义范畴，像Apache Arrow Flight SQL、Flight SQL JDBC驱动这类通用封装客户端无法识别和解析这类自定义元数据，因此无法作为通用方案实现跨端点的有序数据获取。

设计方为何选择不支持该功能？ #

这是由Apache Arrow Flight的核心设计定位决定的：

• 优先保障传输性能：Flight的核心目标是提供高效的大规模数据传输能力，聚焦于低延迟、高吞吐量的底层数据传输。如果内置多端点排序逻辑，必然会引入跨节点协调、全局合并排序等额外开销，违背其轻量高效的设计初衷。
• 业务逻辑解耦：分布式场景下的全局排序需求高度依赖具体业务场景，比如排序键的选择、数据合并策略、容错机制等。将这类业务逻辑交给上层应用实现，能让Flight保持通用性和灵活性，不绑定特定业务场景。
• 保持协议精简：Flight希望核心协议尽可能简洁，避免过度封装上层业务逻辑。如果内置多端点排序支持，会大幅增加协议复杂度，反而限制了框架的扩展性。

内容的提问来源于stack exchange，提问作者zeodtr