如何在Redshift Spectrum中将String类型转换为Varchar类型？

问题背景 #

我用Glue爬虫扫描S3中的数据时，得到如下Schema：

{id: integer, value: String}

这是因为Spark写入数据时使用了String类型而非varchar类型，尽管Spark本身支持VarcharType。

目前遇到的问题是：BI工具无法读取string类型的数据，必须在Redshift Spectrum查询中使用VarcharType。尝试用CREATE EXTERNAL TABLE语句创建表时，所有字段都显示空值；转为内部表能解决问题，但我必须使用Spectrum查询。请问有什么方法可以将String类型转换为VarcharType？

解决方案 #

1. 从源头修改Spark写入的类型定义 #

在Spark写入S3数据时，直接指定字段为VarcharType而非默认的StringType，这样Glue爬虫扫描后会直接识别为varchar类型，Redshift Spectrum可正常读取。示例代码：

from pyspark.sql.types import StructType, StructField, IntegerType, VarcharType

# 定义包含VarcharType的自定义Schema，指定varchar长度（根据实际数据调整）
custom_schema = StructType([
    StructField("id", IntegerType(), nullable=False),
    StructField("value", VarcharType(255), nullable=True)
])

# 读取数据源时应用该Schema，或写入时指定
df = spark.read.schema(custom_schema).csv("s3://your-bucket/source-path")
df.write.parquet("s3://your-bucket/output-path", mode="overwrite")

2. 修改Glue Data Catalog中的表Schema #

如果数据已经写入S3，可以直接修改Glue表的Schema，将value字段类型从string改为varchar(指定长度)：

• 进入AWS Glue控制台，找到目标外部表
• 编辑表的Schema，将value的类型调整为varchar(255)（根据实际数据长度设置）
• 保存后，Redshift Spectrum查询该表时会按varchar类型解析数据，不会出现空值

3. 在Redshift Spectrum查询时显式转换类型 #

如果无法修改Spark写入逻辑或Glue Schema，可以在查询时直接转换类型，还可以创建视图供BI工具使用：

直接查询转换

SELECT 
    id,
    CAST(value AS VARCHAR(255)) AS value
FROM your_external_table;

创建兼容BI工具的视图

CREATE VIEW bi_compatible_view AS
SELECT 
    id,
    CAST(value AS VARCHAR(255)) AS value
FROM your_external_table;

BI工具直接查询这个视图，即可获取varchar类型的数据。

内容的提问来源于stack exchange，提问作者Neelanjoy B