咨询：在Hive加载数据时或之后移除列的起始符[与终止符]

嘿，这个需求我熟！不管是在加载数据到Hive的过程中处理，还是加载完成后再清洗，都有简单直接的办法，给你梳理几种实用方案：

如果是从源表（比如外部表、临时表）导入目标表时，直接在SELECT语句里处理掉首尾的括号：
假设你的原始列名叫raw_array_col，格式是['a','b','c']，可以用Hive的正则替换函数搞定：

CREATE TABLE cleaned_table (processed_col STRING)
AS
SELECT regexp_replace(raw_array_col, '^\\[|\\]$', '') AS processed_col
FROM source_table;

这里的正则^\\[匹配开头的[，\\]$匹配结尾的]，把它们替换成空字符串就去掉了多余的括号。

如果数据已经在Hive表里面了，也能快速批量处理：

• 要是你的表不支持ACID事务，就用INSERT OVERWRITE重建表的方式（安全且通用）：

  INSERT OVERWRITE TABLE your_existing_table
  SELECT 
    col1,
    col2,
    regexp_replace(array_col, '^\\[|\\]$', '') AS cleaned_array_col,
    -- 列出其他所有需要保留的列
    colN
  FROM your_existing_table;
  

• 要是你的表是支持ACID的事务表，可以直接用UPDATE语句精准更新：

  UPDATE your_existing_table
  SET array_col = regexp_replace(array_col, '^\\[|\\]$', '')
  WHERE array_col LIKE '[%]'; -- 可选：只处理确实包含括号的行，提升效率
  

既然你的列本身是数组元素格式，不如顺便把它转成Hive原生的array<string>类型，后续查询更方便：

SELECT 
  split(regexp_replace(raw_array_col, '^\\[|\\]$|\'', ''), ',') AS actual_hive_array
FROM source_table;

这个语句会先去掉首尾括号和所有单引号，再用split函数按逗号分割成真正的数组，一步到位解决格式问题。

小提醒：如果是从外部文件直接加载，也可以在外部表定义时用自定义SerDe或者TRANSFORM脚本处理，但上面的字符串函数方法最直观，不用额外配置复杂的SerDe，新手也能快速上手。

内容的提问来源于stack exchange，提问作者parthip c