能否通过Visual Studio向HDInsight集群提交PySpark作业？

先给你明确结论：Visual Studio 2017本身确实没有原生支持直接通过PySpark调用HDInsight Spark集群的功能，这不是你遗漏了什么配置，而是产品定位的问题——VS2017针对HDInsight的集成更多偏向.NET生态（比如用C#开发Spark应用），对Python/PySpark的支持非常有限，几乎没有专门的集成能力。

不过你也不用纠结，这里给你几个可行的替代方案：

• 如果你想继续用微软系IDE，**Visual Studio Code（VS Code）**是官方主推的选择。安装对应的Python和Spark扩展后，配置好HDInsight集群的连接信息，就能实现本地编写PySpark代码，直接提交到集群运行，还能享受代码提示、调试等IDE功能，这也是你找到的文档里推荐的方案。
• 如果你偏好Spyder这类科学计算向的IDE，可以尝试配置本地PySpark环境：
  1. 先在本地安装Spark，设置好SPARK_HOME、HADOOP_CONF_DIR等环境变量；
  2. 把HDInsight集群上的配置文件（比如core-site.xml、hdfs-site.xml）复制到本地的Spark配置目录；
  3. 最后通过pyspark命令指定集群的master地址，或者用spark-submit提交编写好的PySpark脚本到集群。
• 另外，也可以直接用HDInsight集群自带的Jupyter Notebook，通过浏览器就能访问，不需要本地配置，适合快速编写、调试PySpark代码，验证逻辑。

如果非要在VS2017里折腾，虽然可以手动搭本地Spark环境，然后通过命令行提交任务，但这种方式完全没有IDE的集成支持，体验很差，真心不推荐。

内容的提问来源于stack exchange，提问作者Thomas