AWS新手咨询：带页眉页脚的固定宽文本文件Glue处理流程

一、完整触发与处理流程 #

• 步骤1：文件上传至S3
  将待处理的固定宽度文本文件上传到指定的S3源桶（例如s3://your-source-bucket/input/），建议按前缀划分目录，方便后续过滤目标文件。

• 步骤2：S3事件通知触发Lambda
  在S3源桶配置事件通知，选择s3:ObjectCreated:*事件类型，关联对应的Lambda函数。Lambda的核心逻辑是调用AWS Glue的API启动目标Glue作业，同时可将触发事件中的S3文件路径作为参数传递给Glue作业，避免处理无关文件。

• 步骤3：Lambda启动Glue作业执行数据处理
  Glue作业通过Spark脚本完成以下操作：

  • a) 加载并清洗文本（跳过页眉页脚）
    由于文件包含自定义页眉页脚，无法直接依赖Glue表自动加载，需在Spark脚本中手动处理：先读取所有行，再通过行号或内容特征过滤掉页眉和页脚，最后按固定宽度拆分字段。
    示例代码片段：

    # 读取文件所有行
    raw_lines = spark.read.text("s3://your-source-bucket/input/target-file.txt")
    # 跳过前2行页眉、最后3行页脚（根据实际文件调整行数）
    filtered_rdd = raw_lines.rdd.zipWithIndex().filter(
        lambda x: x[1] >= 2 and x[1] < (raw_lines.count() - 3)
    ).map(lambda x: x[0])
    # 按固定宽度拆分字段（示例：字段1占10位，字段2占15位）
    from pyspark.sql.functions import substring
    df = filtered_rdd.toDF("raw_content").select(
        substring("raw_content", 1, 10).alias("field1"),
        substring("raw_content", 11, 15).alias("field2")
        # 其余字段按实际宽度依次定义
    )
    

  • b) 数据转换
    对拆分后的DataFrame执行需求中的简单修改，比如字段值清洗、格式调整等，直接使用Spark DataFrame API操作即可。
  • c) 写入固定宽度文本到S3
    将处理后的DataFrame重新拼接成固定宽度格式，再写入目标S3桶（例如s3://your-target-bucket/output/）。可通过concat+lpad/rpad函数实现字段的宽度对齐，最后输出为文本文件。
    示例代码片段：

    from pyspark.sql.functions import concat, lpad, rpad
    # 按固定宽度拼接字段（左补/右补空格对齐）
    formatted_df = df.select(
        concat(
            lpad("field1", 10, " "),
            rpad("field2", 15, " ")
            # 其余字段按规则拼接
        ).alias("fixed_width_line")
    )
    # 写入S3，coalesce(1)可选，用于生成单个输出文件
    formatted_df.coalesce(1).write.mode("overwrite").text("s3://your-target-bucket/output/")
    

二、关于是否需要Glue爬虫 #

不需要。Glue爬虫的核心作用是自动扫描S3数据、生成元数据并创建Glue Data Catalog表，适合结构化/半结构化数据的批量元数据管理。而你的场景是触发式处理带自定义页眉页脚的固定宽度文本，直接在Spark脚本中手动处理格式更灵活，无需依赖爬虫生成的表。

内容的提问来源于stack exchange，提问作者user1871797