能否将AWS CloudWatch日志流式传输至自定义AWS Glue作业或EMR作业

CloudWatch Logs 没有内置的原生直连投递能力，没法像对接Amazon Elasticsearch Service那样，通过控制台简单配置就把日志流直接推送到自定义Glue作业或EMR作业，但可以通过标准化中转层实现同等级的流式处理效果，具体细节如下：

• 先明确原生能力边界：CloudWatch Logs的内置订阅投递连接器，目前仅支持对接预置的托管目的地（比如托管ES、Kinesis Data Firehose、Lambda函数等），不支持直接绑定自定义开发的Glue作业、EMR作业作为流接收端。
• 对接自定义Glue作业的实现路径：
  1. 在目标日志组上配置订阅过滤器，将实时产生的日志定向投递到同区域的Kinesis Data Stream
  2. 为对应的Glue Streaming作业配置Kinesis Data Stream作为数据源，直接消费流入的日志数据完成清洗、转换、落库等自定义处理
     这条链路的端到端延迟可以达到秒级，完全满足流式处理的性能要求，不需要走定时批量跑批的逻辑。
• 对接EMR作业的实现路径：
  同样以Kinesis Data Stream作为中转层，EMR集群上运行的Spark Streaming、Flink等流处理作业，直接配置Kinesis Data Stream的消费端点，就可以承接CloudWatch Logs推送的实时日志流，开展自定义的复杂分析、离线/实时混合计算等处理。
• 常见注意事项：
  不要把CloudWatch Logs的S3定时导出功能当流式传输的中转，这个链路是小时/天级别的批量同步，无法满足实时处理的延迟要求；如果你的Glue、EMR作业部署在私有VPC环境内，需要提前配置Kinesis的VPC接入端点，避免流量走公网产生额外成本和安全风险。

内容的提问来源于stack exchange，提问作者Jimson James