Spark-Scala读取BigQuery含关键字列range报错的解决方法咨询

方案1：强制Spark BigQuery Connector引用所有标识符 #

通过配置Spark BigQuery Connector的参数，让它自动为所有列名添加反引号，包括关键字列。可全局配置或读取表时单独设置：

• 全局配置（SparkSession初始化）：

  val spark = SparkSession.builder()
    .appName("YourAppName")
    .config("spark.bigquery.quoted.identifiers", "always")
    // 其他BigQuery相关配置（如项目ID、认证等）
    .getOrCreate()
  

• 读取表时单独配置：

  val sourceDf = spark.read.format("bigquery")
    .option("table", "your-project.your-dataset.your-table")
    .option("spark.bigquery.quoted.identifiers", "always")
    .load()
  

  该参数会让Connector生成的SQL自动用反引号包裹所有列名，直接解决range关键字的语法冲突。

方案2：读取后立即重命名关键字列 #

读取表完成后，立刻将range列重命名为非关键字名称，后续所有转换操作使用新列名，从根源规避关键字问题：

val sourceDf = spark.read.format("bigquery")
  .option("table", "your-project.your-dataset.your-table")
  .load()
  .withColumnRenamed("range", "range_value") // 重命名为非关键字列名

// 后续转换操作统一使用新列名
val transformedDf = sourceDf.filter("range_value IS NOT NULL")
  // 其他复杂转换逻辑

方案3：创建临时视图时显式引用关键字列 #

如果必须依赖临时视图处理，创建视图后通过反引号包裹关键字列进行操作：

val sourceDf = spark.read.format("bigquery")
  .option("table", "your-project.your-dataset.your-table")
  .load()

// 创建临时视图
sourceDf.createOrReplaceTempView("temp_table")

// 后续查询用反引号包裹关键字列
val resultDf = spark.sql("""
  SELECT `range`, other_column1, other_column2 
  FROM temp_table 
  WHERE `range` IS NOT NULL
""")

以上方案均无需使用自定义SQL读取数据，符合项目限制。优先推荐方案1，无需修改后续转换逻辑；若Connector不支持该参数，方案2是最稳妥的替代方案。

内容的提问来源于stack exchange，提问作者Aishwary Shukla