在Databricks中用Python拆分日志字符串至指定列的技术问题

我正在使用Databricks和Python读取日志文件，需要将数据拆分为type、date、time、comments多个列。目前已成功将content字段的字符串拆分为数组格式，但无法将数组内容映射到对应的列中。

原始数据 #

已编写代码 #

from pyspark.sql.functions import split

df_split = (
    df.select(split('content', r' ', 0).alias('row'))
)

df_split.select('row').display()

当前输出 #

期望输出 #

解决方案 #

方法1：精准拆分（推荐）

利用split函数的第三个参数限制拆分次数，直接将content拆分为4部分：前3个元素按空格分隔，剩余所有内容作为第四部分，一步生成目标列。

from pyspark.sql.functions import split

df_result = df.select(
    split('content', r' ', 4)[0].alias('type'),
    split('content', r' ', 4)[1].alias('date'),
    split('content', r' ', 4)[2].alias('time'),
    split('content', r' ', 4)[3].alias('comments')
)

df_result.display()

方法2：基于已拆分数组提取

如果已经得到拆分后的数组列row，通过数组索引提取前三个字段，再用concat_ws拼接数组中从第3位开始的所有元素，组合成comments列。

from pyspark.sql.functions import col, concat_ws, slice

df_result = df_split.select(
    col('row')[0].alias('type'),
    col('row')[1].alias('date'),
    col('row')[2].alias('time'),
    concat_ws(' ', slice(col('row'), 3, -1)).alias('comments')
)

df_result.display()

内容的提问来源于stack exchange，提问作者Mr.Singh