能否在AWS Glue中使用标准PySpark替代Glue PySpark？

如果你想绕开Glue定制的DynamicFrame API，用回标准PySpark的语法，有几种实用方式：

• 直接初始化标准SparkSession
  AWS Glue默认提供的GlueContext会生成带定制API的DynamicFrame，但你完全可以自己创建原生SparkSession，操作标准的DataFrame，这样就能用select这类原生方法了。示例代码：

  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder \
      .appName("UseStandardPySpark") \
      .getOrCreate()
  
  # 用原生Spark方式读取数据
  df = spark.read.parquet("s3://your-bucket/data/")
  # 调用标准select方法
  filtered_df = df.select("id", "value").filter("value > 100")
  

• 把DynamicFrame转成标准DataFrame
  如果已经用GlueContext从数据目录或其他源读取了DynamicFrame，只需要调用toDF()方法就能转换成标准PySpark DataFrame，之后就可以用原生API操作：

  from awsglue.context import GlueContext
  from pyspark.context import SparkContext
  
  sc = SparkContext()
  glueContext = GlueContext(sc)
  
  # 从Glue数据目录读取DynamicFrame
  dyn_frame = glueContext.create_dynamic_frame.from_catalog(
      database="my-database",
      table_name="my-table"
  )
  # 转换为标准DataFrame
  df = dyn_frame.toDF()
  # 使用原生PySpark语法
  result_df = df.select("name", "age").groupBy("age").count()
  

• 按需导入模块
  如果不需要Glue的专属功能（比如ETL作业的自动重试、数据目录同步），可以只导入标准PySpark的模块，避免引入awsglue相关包，减少定制逻辑的影响。

内容的提问来源于stack exchange，提问作者anonggd