Spark加载HTTPS外部CSV遇401未授权，如何添加认证头或优化加载？

为什么sparkContext.addFile会报401？ #

sparkContext.addFile底层使用的是无自定义请求头的简单HTTP客户端，无法携带授权信息，因此访问需要权限验证的外部资源时必然返回401 Unauthorized，且没有办法直接给它添加授权头，不建议继续用这种方式处理带授权的外部文件。

方案一：直接通过Spark数据源加载（推荐） #

Spark的CSV数据源支持直接从HTTP/HTTPS等外部路径读取，还能通过配置参数添加授权头，无需提前下载文件，效率更高（分布式直接读取，避免单点下载分发的开销）。

示例1：Bearer Token授权 #

val df = spark.read
  .option("header", true)
  .option("http.headers", "Authorization: Bearer 你的Token内容")
  .csv(urlPath)

示例2：Basic Auth授权 #

需要先将用户名:密码编码为Base64格式：

import java.util.Base64

val credentials = "用户名:密码"
val encodedCreds = Base64.getEncoder.encodeToString(credentials.getBytes)
val df = spark.read
  .option("header", true)
  .option("http.headers", s"Authorization: Basic $encodedCreds")
  .csv(urlPath)

方案二：手动下载文件后再加载 #

如果必须先将文件下载到本地（比如针对特殊存储系统），可以用带授权的HTTP客户端先下载文件到临时目录，再用Spark读取本地文件。

示例代码（用Java HttpClient）：

import java.net.http.{HttpClient, HttpRequest, HttpResponse}
import java.nio.file.Paths

// 构造带授权的请求
val request = HttpRequest.newBuilder()
  .uri(java.net.URI.create(urlPath))
  .header("Authorization", "Bearer 你的Token内容") // 替换为对应授权方式
  .build()

// 下载文件到本地临时路径
val client = HttpClient.newHttpClient()
val response = client.send(request, HttpResponse.BodyHandlers.ofFile(Paths.get("/tmp/temp.csv")))

// 读取本地文件到DataFrame
val df = spark.read
  .option("header", true)
  .csv("/tmp/temp.csv")

内容的提问来源于stack exchange，提问作者Justin