Teradata创建Parquet外部表时VARCHAR字段字符集设置疑问

字符集选择问题解答 #

1. 无论源端是UTF8还是UTF16编码，选择UNICODE是否正确？

完全正确。
Teradata 数据库中定义的CHARACTER SET UNICODE本质为UTF-16编码实现，通过NOS（Native Object Storage）读取Parquet格式数据时，数据库底层会自动完成源端字符串编码（无论源逻辑类型是UTF8还是UTF16）到表字段定义编码的转码，只要你定义的字段长度足够，不会出现乱码、字符丢失的问题。从你之前查询返回的Parquet schema结果也可以看到，datetime字段的源端逻辑类型就是UTF8，和UNICODE字符集的转码适配性非常好，不会出现异常。你当前datetime字段的定义datetime VARCHAR(16) CHARACTER SET UNICODE CASESPECIFIC是符合要求的。

2. 是否只有UNICODE这一个可选值？

不是，你也可以选择LATIN字符集，但有严格的前提限制：你必须100%确认该字段的所有取值都仅包含ASCII范围内的字符，没有中文、特殊符号、emoji等非LATIN字符，否则会出现字符截断、乱码甚至读取失败的问题。
从兼容性和业务容错性角度，除非有明确的存储优化需求，否则所有字符串类字段统一选择UNICODE是最优方案。

建表语句校验 #

你当前的建表语句没有问题，唯一可以注意的点是：确认Parquet源中datetime字段的字符串最大长度不超过16字符，避免超长值被截断。

内容的提问来源于stack exchange，提问作者2015evanotes