如何让AWS Glue识别带BOM的UTF-8格式JSON文件？

我之前也碰到过一模一样的坑——带BOM的UTF-8 JSON总是被Glue Crawler判定为无效格式，最后生成空表。下面几个方法亲测有效，你可以挨个试试：

方法1：预处理移除UTF-8 BOM #

Glue Crawler对带BOM的UTF-8文件支持确实拉胯，最直接的办法就是先把BOM去掉。你可以用AWS Lambda写个轻量函数，自动处理S3里的目标文件：

import boto3
import codecs

s3 = boto3.client('s3')

def remove_bom(event, context):
    bucket = event['Records'][0]['s3']['bucket']['name']
    key = event['Records'][0]['s3']['object']['key']
    
    # 读取带BOM的文件内容
    response = s3.get_object(Bucket=bucket, Key=key)
    content = response['Body'].read()
    
    # 自动移除BOM并转成纯UTF-8编码
    content_no_bom = codecs.decode(content, 'utf-8-sig').encode('utf-8')
    
    # 写回原文件（也可以指定新路径）
    s3.put_object(Bucket=bucket, Key=key, Body=content_no_bom)

把这个Lambda绑定到S3的文件上传事件，新文件进来就自动清掉BOM，之后Crawler就能正常识别JSON格式了。

方法2：创建自定义JSON分类器（Classifier） #

默认的Glue JSON分类器会被开头的BOM干扰，无法识别文件类型。你可以自定义一个分类器，让它优先处理目标文件：

1. 打开AWS Glue控制台，进入分类器页面，点击添加分类器
2. 选择JSON分类器，给它起个辨识度高的名字
3. 不需要额外指定JSON路径，关键是在Crawler的配置里，把这个自定义分类器移到优先级最前面
   这样Crawler会优先用你定义的规则检测文件，能宽容跳过开头的BOM字符。

方法3：用Glue ETL Job替代Crawler（更灵活可控） #

如果不想在Crawler上死磕，直接写个Glue ETL Job来读取文件并创建表，完全绕开分类器的坑：

import sys
from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session

# 读取带BOM的JSON，指定编码为utf-8-sig（自动识别并跳过BOM）
df = spark.read.json("s3://your-bucket/path/to/target-files/", encoding="utf-8-sig")

# 直接将数据写入Glue数据目录，自动创建表结构
df.write.format("parquet") \
  .mode("overwrite") \
  .saveAsTable("your-database-name.your-table-name")

这种方式不仅能正确处理带BOM的UTF-8，还能完美兼容国际化字符，比依赖Crawler更可靠。

另外补充一句：你之前设置的Content-Type元数据其实对Glue Crawler没用——它是基于文件内容检测格式的，根本不看S3的元数据标签，所以那个设置自然解决不了问题。

内容的提问来源于stack exchange，提问作者Legolas