Spark JDBC加载超大型列遇Requested array size exceeding vm limit报错求助

问题根源：并非Spark字符长度限制，而是JVM数组上限 #

Java中数组长度由int类型限制，最大值为2^31-1（约21亿）。你的字段是10亿字符（对应char数组长度10亿，未超过上限），但Spark通过JDBC读取时会将整个字符串加载到内存中，加上Spark执行时的元数据、对象开销，或堆内存碎片化导致无法分配连续大内存块，从而触发该错误——这和你分配的Executor内存大小无关，是JVM的底层限制。

Databricks中加载并导出到ADLS的替代方案 #

方案1：直接从SQL Server导出到ADLS（推荐） #

绕过Spark内存加载环节，用原生工具或Azure服务直接将大字段导出到ADLS：

• bcp命令：适合快速导出单条记录的大字段，示例命令：

  bcp "SELECT your_large_column FROM your_table WHERE id = 1" queryout "abfss://container@storageaccount.dfs.core.windows.net/path/to/large_file.txt" -S your_sql_server_host -U username -P password -w
  

  注意：需确保SQL Server主机可访问ADLS，或使用Azure Blob Storage的SAS URL作为输出路径。
• Azure Data Factory (ADF)：创建复制活动，源为SQL Server，目标为ADLS Gen2，ADF原生支持处理大字段，无需加载到内存即可完成复制。
• SSIS包：设计SSIS任务直接将SQL Server大字段写入ADLS，适配复杂ETL场景。

方案2：Spark拆分读取大字段后拼接 #

若必须通过Spark处理，可将超大字段拆分为小片段读取，再拼接后写入ADLS：

1. 获取字段总长度：

   val jdbcProps = new java.util.Properties()
   jdbcProps.setProperty("user", "your_username")
   jdbcProps.setProperty("password", "your_password")
   val url = "jdbc:sqlserver://your_sql_server:1433;databaseName=your_db"
   
   val totalLengthDF = spark.read.jdbc(url, "(SELECT LEN(your_large_column) AS total_len FROM your_table WHERE id = 1)", jdbcProps)
   val totalLength = totalLengthDF.collect()(0).getLong(0)
   

2. 定义分块大小，循环读取子串：

   val chunkSize = 100000000 // 1亿字符/块，可根据内存调整
   val chunkDFs = (0L to (totalLength / chunkSize)).map { idx =>
     val start = idx * chunkSize + 1
     val end = math.min((idx + 1) * chunkSize, totalLength)
     val query = s"(SELECT SUBSTRING(your_large_column, $start, ${end - start + 1}) AS chunk FROM your_table WHERE id = 1)"
     spark.read.jdbc(url, query, jdbcProps)
   }
   

3. 拼接分块并写入ADLS：

   import org.apache.spark.sql.functions.{concat_ws, collect_list}
   val fullColumnDF = chunkDFs.reduce(_ union _).agg(concat_ws("", collect_list("chunk")).alias("full_column"))
   fullColumnDF.write.mode("overwrite").text("/mnt/adls/path/to/output/")
   

   提示：若拼接时仍内存不足，可改用RDD处理或缩小分块大小。

方案3：利用SQL Server FILESTREAM/FILETABLE #

若大字段存储为SQL Server的FILESTREAM或FILETABLE类型，可直接访问对应存储文件，用azcopy复制到ADLS：

azcopy copy "//sql_server_host/path/to/filestream/file.txt" "abfss://container@storageaccount.dfs.core.windows.net/target/path/" --recursive

内容的提问来源于stack exchange，提问作者Jegan Jegan