如何将完整节点路径序列拆分为单个独立有向边记录

核心转换规则对齐：

1. 以->为分隔符拆分单条完整访问路径，得到有序页面节点列表
2. 遍历节点列表，对第i位节点，匹配第i+1位节点生成节点i->节点i+1的跳转边
3. 列表最后一位为路径终点，统一生成节点->Null的叶子节点边，标识无后续访问
   示例输入：A->B->C、C->D、A->X、Z
   示例输出：A->B、B->C、C->D、A->X、Z->Null

以下为不同数据处理场景下的可直接复用实现，覆盖GA数据常见的处理环境：

Python Pandas（中小规模数据集，本地分析场景） #

无需额外安装第三方工具库，基于pandas内置的字符串拆分、行展开能力即可实现，十万行级以内数据处理无压力：

import pandas as pd

# 替换为实际数据集
df = pd.DataFrame({
    "full_path": ["A->B->C", "C->D", "A->X", "Z"]
})

# 拆分路径为有序节点列表
df["node_list"] = df["full_path"].str.split("->")

# 按规则生成边列表
def gen_edges(nodes):
    edge_list = []
    for idx in range(len(nodes)):
        if idx < len(nodes) - 1:
            edge_list.append(f"{nodes[idx]}->{nodes[idx+1]}")
        else:
            edge_list.append(f"{nodes[idx]}->Null")
    return edge_list

df["edge"] = df["node_list"].apply(gen_edges)
# 展开为单条边占一行的结果
result_df = df.explode("edge")[["edge"]]

PySpark（大规模数据集，数仓分布式处理场景） #

针对GA亿级日志量级的处理场景，优先用Spark内置函数实现，避免UDF带来的性能损耗：

from pyspark.sql import SparkSession
from pyspark.sql.functions import split, explode, col, arrays_zip, coalesce, lit, array, slice

spark = SparkSession.builder.appName("path_to_edge").getOrCreate()
# 替换为实际数据集读取逻辑
df = spark.createDataFrame(
    [("A->B->C",), ("C->D",), ("A->X",), ("Z",)],
    ["full_path"]
)

result_df = df.withColumn("nodes", split(col("full_path"), "->")) \
    .withColumn("node_pairs", arrays_zip(
        col("nodes"),
        # 错位匹配下一个节点，无后续节点时补null
        coalesce(slice(col("nodes"), 2, 9999), array(lit(None)))
    )) \
    .withColumn("single_pair", explode("node_pairs")) \
    .selectExpr("concat(single_pair['0'], '->', coalesce(single_pair['1'], 'Null')) as edge")

SQL（直接在数仓查询实现，无需数据导出） #

GA数据通常默认存储在BigQuery，以下为BigQuery语法的实现，Hive/Spark SQL仅需调整数组下标、序列生成函数即可适配：

WITH raw_log AS (
  -- 替换为实际表查询逻辑
  SELECT "A->B->C" AS full_path UNION ALL
  SELECT "C->D" UNION ALL
  SELECT "A->X" UNION ALL
  SELECT "Z"
),
path_split AS (
  SELECT
    full_path,
    SPLIT(full_path, "->") AS node_arr
  FROM raw_log
)
SELECT
  CONCAT(
    node_arr[OFFSET(idx)],
    "->",
    IF(idx = ARRAY_LENGTH(node_arr) - 1, "Null", node_arr[OFFSET(idx+1)])
  ) AS edge
FROM path_split,
UNNEST(GENERATE_ARRAY(0, ARRAY_LENGTH(node_arr)-1)) AS idx

实现注意事项 #

• 拆分节点后建议先过滤空值节点，避免因路径首尾冗余分隔符、空页面上报产生->B、A->这类无效边
• 展开边时建议保留原路径关联的用户ID、会话ID、访问时间等维度字段，方便后续做跳转转化、路径归因分析
• 叶子节点标识Null可根据业务习惯替换为(跳出)、路径终点等自定义值，不影响统计逻辑

内容的提问来源于stack exchange，提问作者hawk06955