EC2上用Flintrock部署Spark出现ConnectException连接拒绝问题

我用Flintrock在Amazon EC2上搭建了带有Spark的Hadoop集群，包含1个主节点和3个从节点。目前MapReduce运行正常，YARN已部署完成，但Spark（包括spark-submit和Zeppelin）均出现连接错误，我已将主节点私有IP配置给Spark。

错误信息 #

Py4JJavaError: An error occurred while calling o120.partitions.
: java.net.ConnectException: Call From ip-172-31-19-18.ec2.internal/172.31.19.18 to ip-172-31-19-18.ec2.internal:9000 failed on connection exception: java.net.ConnectException: Connection refused;

YARN配置（yarn-site.xml） #

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>172.31.34.90</value>
</property>
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

环境信息 #

flintrock, version 2.0.0
spark: 3.1.2
hd: 3.2.0
OS: ami-0b5eea76982371e91 # Amazon Linux 2 5.10

请问是IP配置错误，还是需要开放TCP端口？我还可以提供其他配置文件或日志。

内容的提问来源于stack exchange，提问作者dorien