Hive中从带书号的字符串内正确拆分提取书籍名称的实现方法
Hive字段拆分的高效实现方案
你当前硬编码拼接split固定下标的写法,仅能适配固定单词数的书名场景,遇到书名长短变化就会出现截断、拼接空值的问题,可根据实际使用的Hive版本选择以下通用实现:
基于位置切片的全版本兼容方案
利用locate()定位第一个分隔空格的位置,直接对原字符串做切片拆分,不依赖数组长度、单词数量,适配所有Hive版本:
SELECT -- 截取字符串开头到第一个空格前的内容作为Book ID substr(books, 1, locate(' ', books) - 1) AS book_id, -- 截取第一个空格之后的全部内容作为书名 substr(books, locate(' ', books) + 1) AS book_name FROM books;
优势:完全匹配“首字段为数字ID、剩余内容全为书名”的规则,无论书名包含多少个单词、多少个特殊字符(比如书名里的单引号),都能一次性正确拆分,没有任何硬编码逻辑。
正则匹配的简洁实现方案
通过regexp_extract()结合正则规则直接捕获两个目标字段,无额外计算开销:
SELECT -- 捕获字符串开头连续的数字串作为Book ID regexp_extract(books, '^(\\d+)\\s(.*)$', 1) AS book_id, -- 捕获分隔空格后的全部剩余内容作为书名 regexp_extract(books, '^(\\d+)\\s(.*)$', 2) AS book_name FROM books;
正则逻辑说明:
^(\\d+)匹配字符串起始位置的连续数字段,对应Book ID\\s匹配ID和书名之间的单个分隔空格(.*)$匹配分隔位置到字符串末尾的所有内容,不会因为书名长度变化漏截内容
数组自动拼接的灵活实现方案
如果偏好split拆数组的思路,不需要手动硬写数组下标,可通过数组切片+自动拼接的方式实现适配:
SELECT split(books, ' ')[0] AS book_id, -- 从split结果的第1个元素开始,把所有剩余的单词用空格拼回书名 concat_ws(' ', slice(split(books, ' '), 1, size(split(books, ' ')) - 1)) AS book_name FROM books;
函数逻辑说明:
slice()对split生成的字符串数组做切片,跳过代表Book ID的第0个元素,取出后面所有和书名相关的单词元素concat_ws()把切片得到的所有单词元素用空格重新拼接成完整书名,自动适配不同长度的书名,不需要手动枚举每个数组下标。
内容的提问来源于stack exchange,提问作者Onlydocs
相关产品推荐
相关产品推荐

