使用COPY INTO加载TPC-DS数据的类型推断问题及解决方案咨询

一、核心问题修复方案 #

1. 显式指定Schema，禁用自动类型推断 #

TPC-DS有明确的官方Schema，完全不需要依赖inferSchema，直接在COPY INTO语句中定义列类型，强制匹配预创建的Delta表结构，从根源避免类型推断偏差。

示例代码：

COPY INTO tpcds.customer
FROM '/dbfs/tpcds/customer.csv'
FILEFORMAT = CSV
OPTIONS (
  header = 'true',
  delimiter = '|', -- TPC-DS生成的CSV通常用竖线分隔
  nullValue = '', -- 根据实际CSV空值格式调整，如为'NULL'则设为'NULL'
  inferSchema = 'false' -- 禁用自动推断
)
SCHEMA (
  c_customer_sk INT,
  c_customer_id STRING,
  c_current_cdemo_sk INT,
  c_current_hdemo_sk INT,
  c_current_addr_sk INT,
  c_first_shipto_date_sk INT,
  c_first_sales_date_sk INT,
  c_salutation STRING,
  c_first_name STRING,
  c_last_name STRING,
  c_preferred_cust_flag STRING,
  c_birth_day INT,
  c_birth_month INT,
  c_birth_year INT,
  c_birth_country STRING,
  c_login STRING,
  c_email_address STRING,
  c_last_review_date_sk INT
);

2. 统一CSV空值格式，配置正确的nullValue参数 #

TPC-DS生成的CSV空值可能以空字符串""或"NULL"存在，必须明确告知Databricks如何识别空值，避免将空值解析为字符串类型。

示例（空值为NULL字符串时）：

OPTIONS (
  header = 'true',
  delimiter = '|',
  nullValue = 'NULL',
  inferSchema = 'false'
)

此配置会将匹配nullValue的内容解析为对应类型的空值（如INT列的空值为NULL，而非字符串）。

3. 对齐列顺序，使用强制映射 #

若已预创建Delta表，且CSV列顺序与表结构一致，可直接省略SCHEMA定义，但必须禁用inferSchema并配置nullValue：

COPY INTO tpcds.customer
FROM '/dbfs/tpcds/customer.csv'
FILEFORMAT = CSV
OPTIONS (
  header = 'true',
  delimiter = '|',
  nullValue = '',
  inferSchema = 'false'
);

若列顺序不一致，可在FROM子句中显式指定列映射：

COPY INTO tpcds.customer (c_customer_sk, c_customer_id, ...)
FROM (SELECT c_customer_sk, c_customer_id, ... FROM '/dbfs/tpcds/customer.csv')
FILEFORMAT = CSV
OPTIONS (
  header = 'true',
  delimiter = '|',
  nullValue = '',
  inferSchema = 'false'
);

二、COPY INTO兼容性最佳实践 #

• 优先显式定义Schema：固定Schema场景（如TPC-DS）禁用inferSchema，直接指定列类型，杜绝自动推断的类型偏差。
• 统一空值格式：生成CSV时统一空值表示（如全部用空字符串），并通过nullValue参数明确声明，确保空值解析正确。
• 预验证数据格式：加载前抽样验证CSV的分隔符、空值格式、列顺序，比如用以下语句查看解析结果：

  SELECT * FROM csv.`/dbfs/tpcds/customer.csv` 
  OPTIONS(header='true', delimiter='|', nullValue='') LIMIT 10;
  

• 不依赖mergeSchema修正类型：mergeSchema仅用于新增列，无法解决STRING转INT这类类型不兼容问题，不要用它修复类型错误。

三、加载优化方案 #

• 批量加载：将同表的多个CSV文件放在同一目录下，一次性加载，减少COPY INTO执行次数。
• 使用分区表：针对TPC-DS大表（如store_sales）预创建分区Delta表，按分区列加载，提升后续查询性能。
• 压缩CSV文件：上传前将CSV压缩为gzip格式，减少存储占用与加载时间，COPY INTO支持自动解压：

  COPY INTO tpcds.customer
  FROM '/dbfs/tpcds/customer.csv.gz'
  FILEFORMAT = CSV
  OPTIONS (
    header = 'true',
    delimiter = '|',
    nullValue = '',
    inferSchema = 'false',
    compression = 'gzip'
  );
  

内容的提问来源于stack exchange，提问作者manucorujo