权限受限情况下如何将Databricks大表下载至本地及Blob存储

一、有SELECT权限但受限无法直接写入外部存储的大表下载 #

针对2亿条记录的大表，直接下载会受限于内存和界面导出限制，可通过以下方式分批处理：

• 按分区/范围拆分查询，分批导出后本地合并
  优先选择表中已有的分区字段（如日期、ID区间）拆分查询，避免用OFFSET（大表下OFFSET会扫描前置数据，效率极低）。例如按ID分段：

  SELECT * FROM your_table WHERE id BETWEEN 1 AND 10000000;
  SELECT * FROM your_table WHERE id BETWEEN 10000001 AND 20000000;
  

  每次导出1000万条数据为CSV/Parquet格式，本地用Python（Pandas/Dask）或其他工具合并成完整文件。Dask适合处理超大文件，不会一次性加载全量数据到内存。

• 通过Databricks SQL REST API分块拉取结果
  若能生成个人访问令牌（PAT），可调用API分批次获取查询结果，避免内存溢出：

  import requests
  import pandas as pd
  
  # 配置参数
  workspace_url = "https://your-workspace-url.databricks.com"
  pat_token = "your-personal-access-token"
  query = "SELECT * FROM your_table"
  
  # 提交查询
  headers = {"Authorization": f"Bearer {pat_token}"}
  submit_response = requests.post(
      f"{workspace_url}/api/2.0/sql/statements",
      headers=headers,
      json={"statement": query, "warehouse_id": "your-warehouse-id"}
  )
  query_id = submit_response.json()["id"]
  
  # 分块拉取结果
  all_records = []
  next_page = None
  while True:
      params = {"page_token": next_page} if next_page else {}
      result_response = requests.get(
          f"{workspace_url}/api/2.0/sql/statements/{query_id}/result",
          headers=headers,
          params=params
      )
      result_data = result_response.json()
      all_records.extend(result_data["data"])
      next_page = result_data.get("next_page_token")
      if not next_page:
          break
  
  # 保存为本地文件
  df = pd.DataFrame(all_records, columns=[col["name"] for col in result_data["schema"]["columns"]])
  df.to_parquet("full_table.parquet", index=False)
  

  注意需确保API权限允许提交查询和获取结果。

• 使用Databricks CLI批量导出
  若能安装并配置Databricks CLI，用sql query execute命令分段导出：

  # 导出第一部分
  databricks sql query execute --query "SELECT * FROM your_table WHERE id BETWEEN 1 AND 10000000" --output-format csv > part_01.csv
  # 导出第二部分
  databricks sql query execute --query "SELECT * FROM your_table WHERE id BETWEEN 10000001 AND 20000000" --output-format csv > part_02.csv
  

  后续用cat part_*.csv > full_table.csv（Linux）或PowerShell合并命令完成整合。

二、无SELECT权限时的下载方案 #

没有SELECT权限时，无法直接查询或导出表，只能通过以下途径解决：

• 申请临时权限或协助：向客户的Databricks工作区管理员申请临时SELECT权限，或请求管理员将表导出为可下载的文件（如CSV/Parquet）后共享。
• 管理员协助写入外部存储：让管理员将表写入你有权访问的存储服务（如你的Blob存储），之后从该存储下载数据。
• 利用数据共享机制：若客户有内部数据共享平台，请求管理员将表发布到平台，你通过合规渠道获取数据。

内容的提问来源于stack exchange，提问作者jen