如何将HANA数据库中60亿条记录的表拆分至5000万批次？

针对60亿条记录的大表拆分需求，HANA有几种实用的方法实现按批次查询：

• 基于主键哈希分批次：
  利用HANA内置的HASH()函数对5个主键列的组合计算哈希值，再通过取模运算把记录均匀分配到指定批次（60亿/5000万=12批）。SQL示例：

  -- 查询第1批数据
  SELECT * 
  FROM bigTable 
  WHERE MOD(HASH(CONCAT(COALESCE(col1,''), COALESCE(col2,''), COALESCE(col3,''), COALESCE(col4,''), COALESCE(col5,''))), 12) + 1 = 1;
  

  这里用COALESCE处理主键列的NULL值，避免哈希结果异常。这种方法能让各批次数据量相对均衡，无需全表排序，性能更优。

• 使用NTILE函数分批次：
  如果能接受按主键排序后分段，可以用NTILE()直接把数据集划分为指定批次。示例：

  -- 查询第1批数据
  SELECT * FROM (
      SELECT *, NTILE(12) OVER(ORDER BY col1, col2, col3, col4, col5) AS partition
      FROM bigTable
  ) t
  WHERE partition = 1;
  

  注意：NTILE需要对全表排序，60亿条记录的情况下性能开销极大，仅适合表已有主键排序索引且系统资源充足的场景。

• 预存储批次号：
  如果需要反复导出批次数据，建议新增一个partition整数列，一次性计算并更新所有记录的批次号，之后查询效率会很高：

  -- 新增批次列
  ALTER TABLE bigTable ADD COLUMN partition INT;
  
  -- 批量更新批次号
  UPDATE bigTable 
  SET partition = MOD(HASH(CONCAT(COALESCE(col1,''), COALESCE(col2,''), COALESCE(col3,''), COALESCE(col4,''), COALESCE(col5,''))), 12) + 1;
  
  -- 查询指定批次
  SELECT * FROM bigTable WHERE partition = 1;
  

  这种方法的代价是一次性更新60亿条记录需要消耗大量资源和时间，但后续查询几乎无性能损耗。

内容的提问来源于stack exchange，提问作者adam.g