Sparklyr/Spark NLP YARN连接及本地连接故障求助

1. 终端安装的Apache Spark与R中spark_install()是否冲突？ #

两者本身不冲突，属于独立的安装方式：

• spark_install()是sparklyr提供的便捷安装工具，会将Spark包下载到用户本地缓存目录（如~/Library/Caches/sparklyr/），仅对当前R环境可见。
• 终端（如Homebrew）安装的是系统级Spark，路径通常在/usr/local/Cellar/apache-spark/下，全局可用。
  冲突的根源是路径配置混乱（错误指定SPARK_HOME、版本不匹配），而非安装方式本身。

2. 为何本地连接无法建立？ #

核心原因是SPARK_HOME路径错误或配置残留：

• 你指定的/usr/local/Cellar/apache-spark不是Spark的根目录，Homebrew安装的Spark根目录是带版本号的子目录（如/usr/local/Cellar/apache-spark/3.3.0），spark-submit在该目录的bin下，路径错误导致找不到执行文件。
• 修改SPARK_HOME后未清理sparklyr的配置缓存，导致旧配置残留。
• 错误使用yarn-client作为master参数，本地连接应使用local[*]而非YARN模式。

3. 文本数据是否需要Hive？ #

不需要。Spark NLP处理文本数据可以直接读取本地文件（CSV、JSON、纯文本）、分布式存储（HDFS）等，无需依赖Hive。仅当你的文本数据存储在Hive表中时，才需要配置Hive连接；普通本地文本文件用本地Spark模式即可处理。

4. 当前连接故障修复步骤 #

步骤1：确认正确的SPARK_HOME路径 #

• 对于Homebrew安装的Spark，在终端执行：

  brew info apache-spark
  

  找到类似/usr/local/Cellar/apache-spark/3.3.0的路径，这才是正确的Spark根目录。
• 对于spark_install()安装的Spark，在R中执行：

  spark_install_find()
  

  会返回其安装路径。

步骤2：清理残留配置 #

在R中执行：

# 清除环境变量中的SPARK_HOME
Sys.unsetenv("SPARK_HOME")
# 重置sparklyr的配置缓存
spark_config_reset()

步骤3：重建本地连接 #

方式1：使用spark_install()安装的Spark（推荐，避免路径问题）

# 查看已安装的Spark版本
spark_installed_versions()
# 连接本地模式，sparklyr会自动匹配路径
sc <- spark_connect(master = "local[*]", version = "3.3.0")

方式2：使用终端安装的Spark

# 替换为你实际的Spark根目录
spark_home_path <- "/usr/local/Cellar/apache-spark/3.3.0"
sc <- spark_connect(master = "local[*]", spark_home = spark_home_path, version = "3.3.0")

步骤4：验证连接 #

# 查看Spark上下文信息
print(sc)
# 测试数据读写
test_data <- tibble::tibble(text = c("测试文本1", "测试文本2"))
spark_test_data <- copy_to(sc, test_data)
spark_test_data

步骤5：若需连接YARN集群（仅针对有YARN环境的场景） #

• 确保YARN集群正常运行，且你有访问权限。
• 使用绝对路径指定spark_home（你之前的usr/lib/spark是相对路径，应改为/usr/lib/spark）。
• 确保version参数与集群Spark版本一致：

conf <- spark_config()
conf$spark.driver.cores <- 2
conf$spark.driver.memory <- "3G"
conf$spark.executor.cores <- 2
conf$spark.executor.memory <- "3G"
conf$spark.executor.instances <- 5
conf$sparklyr.verbose <- TRUE

sc <- spark_connect(
  master = "yarn",
  version = "2.4.3",
  config = conf,
  spark_home = "/usr/lib/spark"
)

内容的提问来源于stack exchange，提问作者Magnetar