如何用Scala+Spark推送Twitter流至Kinesis Firehose支持SQL查询

• Kinesis数据推送模块（可独立运行）
  • 基于DefaultAWSCredentialsProviderChain搭建身份凭证获取链路
  • 通过AmazonKinesisClientBuilder初始化指定区域的Kinesis服务客户端
  • 支持批量组装PutRecordsRequestEntry，将自定义测试字符串写入目标流episen-ds1
• Twitter数据拉取模块（可独立运行）
  • 基于Spark Streaming完成Twitter OAuth授权参数配置
  • 通过TwitterUtils创建实时推文输入流，实现仅保留英文内容的过滤逻辑
• 构建配置：已完成build.sbt的全部依赖声明，两个模块无编译冲突，可独立启动运行

• 如何打通两段独立代码的执行流程，实现拉取到的推文持续推送至Kinesis Firehose的全链路
• 尚未明确Twitter原生推文对象到可写入Kinesis Firehose的结构化字符串的转换逻辑，目前仅掌握简单测试字符串的推送实现，无法适配真实推文数据的序列化要求
• 转换后的字符串格式需要满足后续基于该数据集直接执行SQL查询的要求，减少后续数据解析成本

内容的提问来源于stack exchange，提问作者isi