如何通过Spark SQL为Couchbase文档设置TTL？

一、正确使用META_EXPIRATION字段（Spark SQL方式） #

• 确保你的DataFrame/DataSet中包含名为META_EXPIRATION的字段，类型必须是长整型（Long），值为文档的过期时间戳（秒级，从Unix纪元开始计算），传入0表示永不过期。
• 示例SQL转换逻辑：

  SELECT 
    db2_id AS META_ID,
    -- 设置30天后过期：当前时间戳 + 30*24*3600秒
    UNIX_TIMESTAMP() + 2592000 AS META_EXPIRATION,
    struct(
      db2_col1 AS col1,
      db2_col2 AS col2
    ) AS data
  FROM db2_table
  

• 写入Couchbase时，connector会自动识别META_EXPIRATION字段并设置文档TTL，无需额外配置。

二、DataSet API手动构造元数据（备选方案） #

如果Spark SQL字段映射不生效，可切换到DataSet强类型API，直接构造带TTL的Couchbase文档：

import com.couchbase.spark.sql._
import com.couchbase.client.java.document.JsonDocument
import com.couchbase.client.java.document.json.JsonObject

// 从DB2读取的DataSet
val db2Data: DataSet[Db2Record] = spark.read.jdbc(...)

// 转换为带TTL的Couchbase文档
val couchbaseDocs = db2Data.map(record => {
  val jsonContent = JsonObject.create()
    .put("col1", record.col1)
    .put("col2", record.col2)
  
  JsonDocument.create(
    record.db2Id,       // 文档ID
    2592000,            // TTL：30天（单位：秒）
    jsonContent
  )
})

// 写入Couchbase
couchbaseDocs.write.couchbase()

三、Couchbase端全局TTL替代方案 #

如果Spark端设置TTL始终存在问题，可在Couchbase侧配置兜底方案：

• 桶级别默认TTL：在Couchbase控制台的桶配置中设置默认过期时间，所有未指定TTL的写入文档自动继承该规则。
• N1QL批量更新：数据写入完成后，执行N1QL语句批量设置TTL：

  UPDATE `your-bucket-name` SET EXPIRATION = UNIX_TIMESTAMP() + 2592000 WHERE META().id LIKE 'db2-%'
  

内容的提问来源于stack exchange，提问作者user2585494