PySpark中替代Athena TRY函数提取数组元素的方法咨询

要在PySpark中安全提取数组的第2个元素（避免数组长度不足时报错），可以用以下几种替代方案：

1. 兼容所有PySpark版本：数组长度判断 + element_at #

通过先判断数组长度是否足够，再提取元素，不足时返回NULL：

SELECT IF(size(object_url) >= 2, element_at(object_url, 2), NULL) AS second_element

或者用CASE WHEN写法：

SELECT 
  CASE 
    WHEN size(object_url) >= 2 THEN element_at(object_url, 2) 
    ELSE NULL 
  END AS second_element

注：element_at是PySpark中专门用于提取数组/映射元素的函数，索引从1开始，和Athena的数组索引规则一致。

2. PySpark 3.3+版本：使用try_element函数 #

PySpark 3.3及以上版本提供了try_element函数，作用和Athena的TRY完全类似——包裹可能出错的表达式，执行失败时返回NULL而非报错：

SELECT try_element(object_url[2]) AS second_element

也可以结合element_at使用：

SELECT try_element(element_at(object_url, 2)) AS second_element

内容的提问来源于stack exchange，提问作者Sun Young Lee