部署Starburst Presto时，Azure HDInsight能否选用Spark集群？

先给你明确的结论：可以创建Spark集群，且基于Spark集群部署Starburst Presto是可行的，但需要注意一些关键的兼容性和配置细节。下面展开说明：

1. 能否创建Spark集群用于Starburst Presto？ #

完全没问题。Azure HDInsight支持通过Azure门户、Azure CLI、ARM模板等多种方式创建Spark类型的集群——这是HDInsight原生支持的集群类型之一，创建流程和其他集群类型没有区别。

2. 基于Spark集群部署Starburst Presto是否可行？ #

官方推荐用Hadoop集群，主要是因为Hadoop集群的配置更贴合Presto对Hadoop生态组件的默认依赖，但Spark集群本身也包含了Presto运行所需的核心组件（HDFS存储、YARN资源管理器），所以技术上是可行的。不过需要注意以下几点：

• 资源调度冲突规避：Spark集群默认会用YARN调度Spark任务，而Presto也依赖YARN分配计算资源。如果两者同时运行，必须合理配置YARN的资源隔离规则，比如分别给Spark和Presto划分固定比例的内存、CPU资源，避免互相抢占导致服务不稳定。
• 手动部署与配置调整：HDInsight Spark集群不会预装Starburst Presto，你需要手动上传Presto安装包到集群节点，然后修改Presto的配置文件（比如config.properties中指定YARN作为资源管理器，node.properties配置节点角色），确保Presto能正常访问集群的HDFS存储。
• 官方支持限制：由于微软官方推荐的是Hadoop集群部署Presto，所以在Spark集群上部署的话，可能无法直接获得微软的官方技术支持，遇到问题需要优先查阅Starburst社区文档或自行排查。

实操建议 #

• 先搭建测试集群验证：不要直接在生产环境部署，先创建一个小型Spark集群，部署Presto后进行小负载的查询测试，确认兼容性和性能符合预期。
• 优化YARN资源配置：比如通过YARN的capacity-scheduler.xml配置，给Presto单独分配资源队列，保证Presto有足够的资源运行查询。
• 错开任务运行时间：如果你的集群同时要跑Spark批处理作业和Presto交互式查询，可以将两者的运行时段错开，避免资源竞争。

内容的提问来源于stack exchange，提问作者Bhanuday Birla