LAS 为您提供 LAS Catalog 元数据备份与恢复工具 lf-exporter，您可使用此工具实现元数据（catalog、database、table、partition、function）的同地域、跨地域灾备。本文为您介绍 lf-exporter 工具的使用要点和灾备方案建议。

LAS Catalog 元数据备份与恢复工具 lf-exporter 以 火山引擎 EMR Serverless Spark 作业运行，您在获取工具包后，通过配置 YAML 配置文件，提交EMR Serverless Spark 作业来调用 lf-exporter 工具，实现 LAS Catalog 元数据备份与恢复。
其中，YAML 配置文件中参数 mode用于指定 LAS Catalog 元数据的备份与恢复的运行模式，支持以下四种场景元数据的备份与恢复。

使用 lf-exporter 工具时，在完成必要的准备工作后，各场景的通用操作流程为：配置 YAML 配置文件 > 运行 EMR Serverless 作业调用工具 > 确认结果。
以下为您介绍 lf-exporter 工具在不同场景下的详细使用指导。

step 1：获取lf-exporter 工具 #

您需要先获取lf-exporter 工具并上传到 TOS，便于后续运行 EMR Serverless Spark 作业时选用。

wget https://lasformation-cn-beijing.tos-cn-beijing.volces.com/las-exporter/application.jar

step 2：准备 YAML 配置文件 #

基于使用场景，准备好 YAML 配置文件，下面为您示例各场景下的 YAML 配置文件示例。

• 实际使用时请根据实际情况替换 ${AK}、 ${SK} 、TOS 路径等相关参数。
• 全量的配置参数列表及参数说明请参见下文的：参考：配置参数列表。

mode: las_to_tos
lasClientInfo:
  akMode: MANUAL
  accessKeyId: "${AK}"
  accessKeySecret: "${SK}"
  endPoint: thrift://lakeformation.las.cn-beijing.ivolces.com:48869
  regionId: cn-beijing
runOptions:
  includeCatalogPrefixs: []
  includeDatabasePrefixs: []
  includeTablePrefixs: []
  objectTypes: [catalog, database, table, partition, function]
  permissionDeniedStrategy: skip
  outputBaseDir: tos://backup-bucket/las_exporter/
  auditOutputDir: tos://backup-bucket/las_exporter_audit/

mode: tos_to_las
lasClientInfo:
  akMode: MANUAL
  accessKeyId: "${AK}"
  accessKeySecret: "${SK}"
  endPoint: thrift://lakeformation.las.cn-beijing.ivolces.com:48869
  regionId: cn-beijing
runOptions:
  includeCatalogPrefixs: []
  includeDatabasePrefixs: []
  includeTablePrefixs: []
  batchSize: 1000
  sparkTaskBatchSize: 200000
  objectTypes: [catalog, database, table, partition, function]
  permissionDeniedStrategy: skip
  inputBaseDir: tos://backup-bucket/las_exporter/2026-04-13/
  auditOutputDir: tos://backup-bucket/las_exporter_audit/
  locationMappings:
    - source: tos://old-bucket/
      target: tos://new-bucket/

mode: las_to_hive
lasClientInfo:
  akMode: AUTO
  endPoint: thrift://lakeformation.las.cn-beijing.ivolces.com:48869
  regionId: cn-beijing
hmsClientInfo:
  hiveConfPath: /etc/emr/hive/conf/hive-site.xml
runOptions:
  includeCatalogPrefixs: [las_exporter]
  includeDatabasePrefixs: [las_exporter]
  includeTablePrefixs: [exporter_table_1000]
  batchSize: 1000
  objectTypes:
    - catalog
    - database
    - table
    - partition
    - function

mode: tos_to_hive
lasClientInfo:
  akMode: AUTO
  endPoint: thrift://lakeformation.las.cn-beijing.ivolces.com:48869
  regionId: cn-beijing
hmsClientInfo:
  hiveConfPath: /etc/emr/hive/conf/hive-site.xml
runOptions:
  includeCatalogPrefixs: [las_exporter]
  includeDatabasePrefixs: [las_exporter]
  objectTypes:
    - catalog
    - database
    - table
    - partition
    - function
  outputBaseDir: xxx
  inputBaseDir: tos://exporter_las/2025-02-19

step 3：将工具包、配置文件上传至 TOS #

将工具包、配置文件上传至 TOS Bucket，便于后续提交运行 EMR Serverless Spark 作业时引用。上传文件至 TOS Bucket 的操作详情请参见：上传文件。

step 4：提交 Serverless Spark 作业 #

1. 登录并进入 EMR 控制台，在作业管理页面提交一个 Spark JAR 作业，详细作业提交操作指导请参见 EMR 官网文档：提交 Spark JAR 作业。
   

2. 在作业内容中，配置调用 lf-exporter 工具相关的作业内容。下面是一个 SparkJar JSON 任务参数模板，您可参考模版根据实际情况修改其中的参数即可。

   {
       "JobType": "SparkJar",
       "VolcanoQueue": null,
       "StorageMounts": [],
       "MainClass": "bytedance.olap.las.Exporter",
       "MainApplicationFile": "tos://las_exporter/application.jar",
       "Jars": [],
       "Files": [
           "tos://las_exporter/tos_to_las.yaml"
       ],
       "PyFiles": null,
       "Archives": [],
       "SparkConf": "spark.sql.adaptive.enabled=false,spark.driver.cores=1,spark.driver.memory=4G,spark.executor.cores=2,spark.executor.memory=4G,spark.executor.instances=2,spark.sql.shuffle.partitions=200,serverless.spark.access.key=AKLTN******,serverless.spark.secret.key=TnpBe******",
       "MainArguments": "tos://las_exporter/tos_to_las.yaml"
   }
   

   其中：

• MainApplicationFile：配置为 lf-exporter 工具 JAR包上传至 TOS Bucket 后的 TOS 路径地址。
• Files：配置为对应任务的 YAML 配置文件上传至 TOS Bucket 后的 TOS 路径地址。
• MainArguments：配置为对应任务的 YAML 配置文件上传至 TOS Bucket 后的 TOS 路径地址。
• SparkConf：
  • serverless.spark.access.key、serverless.spark.secret.key：配置为准备工作中已获取的具有访问 TOS、Catalog 权限的AK、SK。

step 5：确认备份/恢复结果 #

• 备份成功后：
  • 在 outputBaseDir 下可以看到按日期分区的备份目录，并包含各对象类型 JSON（例如 catalogs/、databases/、tables/、partitions/、functions/）。产物的组织方式详情请参见下文的参考：备份产物组织方式。
  • 若配置了 auditOutputDir，还会输出审计 summary 便于确认“是否全量成功”。
• 恢复完成后：
  • 可以在 LAS Catalog 控制台或通过引擎侧查询确认 catalog、db、table、partition、function 已可见。
  • 恢复默认采用“存在则跳过”的幂等策略，适合重复执行与失败重试。

灾备方案建议 #

• 基于 lf-exporter 工具进行灾备方案规划时，由于 lf-exporter 工具当前不复制数据文件，跨 Region 灾备要实现数据可用，需要额外的数据文件复制链路，常见实现方式包括对象存储 TOS 跨 Region 复制、或在可控计算环境中使用目录级复制工具。
  
• 数据文件灾备的关键输入来自元数据备份中 Table.sd.location、Partition.sd.location 与 Function.resourceUris[].uri。建议先从备份 JSON 抽取这些 location 前缀，结合 locationMappings 计算目标前缀，再对目标前缀做一致性校验，并将校验结果作为元数据恢复的前置门禁。

容灾配置 #

异地冷备场景下，以使用 TOS 跨 Region 复制为例，为您示例配置流程。

1. 参考lf-exporter 工具的通用使用流程，基于 las_to_tos 任务场景的配置，将 LAS Catalog 元数据备份至同地域的 TOS Bucket。
2. 使用 TOS 的跨区域复制功能，将备份至 TOS 的元数据跨区域复制到另外一个地域的 Bucket 中，例如，将华北地域 Bucket 内容复制到华东地域 Bucket。配置详情请参见：TOS 跨区分复制参考文档。
3. 跨区域复制规则创建并完成同步后，您可以在异地 Bucket 中检查复制结果。

异常恢复 #

当主服务地域的元数据出现异常时，您可将备份至 TOS 的元数据恢复至 LAS，核心流程如下。

1. 您可以在主服务地域中创建一个新的 TOS Bucket，用于恢复元数据存储。
2. 您可使用 TOS 的跨 Region 复制功能，将异地 Bucket 的元数据复制回同地域的恢复 Bucket中。配置详情请参见：TOS 跨区分复制参考文档。

   注意

   备份至 TOS 的LAS Catalog 元数据为序列化后的 JSON ，并按日期分区目录进行存储，请参见下文的参考：备份产物组织方式。您在恢复时，需明确需要恢复的分期日期目录。

3. 参考lf-exporter 工具的通用使用流程，基于 tos_to_las 任务场景的配置，将 TOS Bucket 中的元数据恢复至同地域的 LAS Catalog。
4. 作业运行完成后，前往 LAS 中查看恢复结果。

在 las_to_tos 模式下，元数据对象会序列化为 JSON，并按对象类型落在 runOptions.outputBaseDir 的日期分区目录中。恢复模式（tos_to_las / tos_to_hive）需要将 runOptions.inputBaseDir 指向某一次备份的日期目录。

下表罗列了备份配置中用到的参数说明。