在AWS Glue的DynamicFrame.apply_mapping中,字符串列表字段应使用何种数据类型?
在AWS Glue的DynamicFrame.apply_mapping中处理字符串列表类型
在Glue的apply_mapping方法里,字符串列表(数组)类型不能用"string[]"这种写法,正确的类型标识是"array<string>"——这是Spark SQL标准的类型语法,也是Glue内部遵循的规则。
举个实际的使用示例:
mapped_dyf = dynamic_frame.apply_mapping( mappings=[ ("id", "int", "id", "int"), ("tags", "array<string>", "tags", "array<string>"), # 字符串列表的正确映射写法 ("name", "string", "name", "string") ] )
如果源数据中的列表是嵌套结构或有特殊格式,只需保证源类型和目标类型都用array<string>声明,就能避免类型不匹配的异常。
内容的提问来源于stack exchange,提问作者Ian Liu Rodrigues
相关产品推荐
相关产品推荐

