AWS Glue是否有类似SSIS的脚本组件？.NET ETL迁移技术问询

关于C#/.NET脚本的直接支持 #

AWS Glue本身没有原生支持C#/.NET的脚本组件，官方文档仅提供Python和Scala的脚本示例，这是目前的产品现状。

可行的替代方案 #

1. Java代码集成 #

虽然Glue作业默认只暴露Python/Scala入口，但可以通过以下方式嵌入Java代码：

• 编写Java类实现数据转换逻辑，打包成JAR文件上传至S3。
• 在Glue的Scala作业中，通过引入该JAR依赖，直接调用Java类的方法完成转换。
• 示例（Scala中调用Java逻辑）：

// 加载S3上的自定义JAR
import com.yourcompany.transforms.CustomJavaTransformer

val df = glueContext.read.json("s3://input-path/")
val transformedDf = CustomJavaTransformer.applyTransform(df)
transformedDf.write.parquet("s3://output-path/")

2. C#/.NET代码的间接调用 #

如果要复用现有SSIS中的.NET脚本，可采用以下两种思路：

• 通过AWS Lambda桥接：将.NET转换逻辑封装成Lambda函数，在Glue作业中通过调用Lambda API触发执行，将数据传递给Lambda处理后再取回结果。
• 使用EMR集群运行.NET作业：如果转换逻辑依赖较重，可在Glue中触发EMR集群，利用EMR支持的.NET on Spark（.NET for Apache Spark）来运行C#代码处理数据，完成后再将结果同步回Glue的数据目录。

注意事项 #

• 无论采用哪种方案，都需要处理数据在Glue和外部执行环境之间的传输效率问题，推荐使用S3作为中间存储层。
• 对于Java集成，确保JAR包兼容Glue所使用的Spark版本，避免依赖冲突。

内容的提问来源于stack exchange，提问作者s.vij