通过Lambda创建AppFlow时Google Analytics源输出文件类型报错如何解决

错误根因 #

该报错是AWS AppFlow的Google Analytics源连接器的内置限制导致的：GA源不支持用户自定义目标端的输出文件类型，也不支持非聚合的分片输出，只要你在S3输出配置中显式声明fileType参数，无论设置为JSON/CSV/PARQUET都会触发该校验错误。

修复方案 #

• 删除destinationFlowConfigList中s3OutputFormatConfig下的fileType配置项，GA源会默认输出CSV格式文件，该格式不可自定义修改。
• 将aggregationConfig中的aggregationType参数值从None改为SingleFile，GA源仅支持单文件聚合的输出模式。

修改后的参考配置如下：

destinationFlowConfigList=[
{
 'connectorType': 'S3',
 'connectorProfileName': 'Test',
 'destinationConnectorProperties': {
   'S3': {
   'bucketName': 'test-bucket',
   's3OutputFormatConfig': {
     'prefixConfig': {
       'prefixType': 'FILENAME', #可选值：'FILENAME'|'PATH'|'PATH_AND_FILENAME'
       'prefixFormat': 'MINUTE' #可选值：'YEAR'|'MONTH'|'DAY'|'HOUR'|'MINUTE'
     },
   'aggregationConfig': {
    'aggregationType': 'SingleFile' #GA源仅支持SingleFile模式
   }
  }
 }
}
},
],
tasks=[
{
  "taskType": "Filter",
  "sourceFields": [
  "ga:users|METRIC",
  "ga:newUsers|METRIC"
],
"connectorOperator": {
  "GoogleAnalytics": "PROJECTION"
}
}
]

如果后续需要JSON/Parquet格式的输出，可以在AppFlow流运行完成后，额外加一层Lambda对S3落地的CSV文件做格式转换即可。

内容的提问来源于stack exchange，提问作者pauloutboy