Polybase能否配置截断超出指定长度的字段？

Polybase完全支持配置为自动截断超长字符串，而不是抛出截断错误。核心是通过在创建外部表时启用特定参数来实现，具体步骤如下：

• 第一步：定义合适的字段长度
  先把那个可能包含超长内容的字段，定义为固定长度的字符类型（比如VARCHAR(n)，n是你希望保留的最大长度），比如VARCHAR(200)——别用VARCHAR(MAX)，不然截断逻辑不会触发。

• 第二步：启用截断允许参数
  在创建外部表的WITH子句中添加ALLOW_DATA_TRUNCATION = ON。这个参数会告诉Polybase：当源数据的字段长度超过你定义的长度时，自动截断超出部分，而不是报错终止操作。

举个实际的创建语句示例：

CREATE EXTERNAL TABLE [dbo].[CustomerData]
(
    CustomerID INT,
    CustomerNotes VARCHAR(200) -- 这里设置你需要的最大保留长度
)
WITH
(
    LOCATION = '/storage/customer/notes/',
    DATA_SOURCE = AzureBlobStorageSource,
    FILE_FORMAT = DelimitedTextFormat,
    ALLOW_DATA_TRUNCATION = ON -- 关键配置，开启截断模式
);

补充说明： #

• 如果你的外部表已经创建好了，那需要先删除原表，再重新创建并加上这个参数——因为ALTER EXTERNAL TABLE不支持修改ALLOW_DATA_TRUNCATION选项。
• 这个参数是作用于整个外部表的，也就是说所有字段如果出现数据超长的情况，都会被截断。如果只需要针对单个字段做截断，也可以在查询时手动用LEFT(CustomerNotes, 200)来处理，但这种方式如果源数据超长，在Polybase读取阶段还是可能先报错，所以更推荐用上面的参数配置方式。

内容的提问来源于stack exchange，提问作者Neil P