通过ODBC从SAS传输数据时字符乱码及批量数据类型适配问题

问题根源 #

SAS通过ODBC导出字符数据时，默认会将SAS的CHAR/VARCHAR类型映射为数据库的VARCHAR类型，而波兰语这类含Unicode字符的内容需要数据库字段为NVARCHAR（Unicode类型）才能正确存储，因此出现乱码。手动指定dbtype虽可行，但批量处理效率低下，以下是三种批量解决方案：

方案1：LIBNAME全局映射字符类型 #

在ODBC库定义语句中直接指定全局字符类型映射，让所有SAS字符字段自动对应数据库的NVARCHAR类型，无需逐个表配置：

libname example odbc datasrc=test insertbuff=10000 
    dbtype=(char='nvarchar(%l)' varchar='nvarchar(%l)');
/* %l 表示沿用SAS字段的原长度 */

/* 直接导出表即可，所有字符字段自动映射为NVARCHAR */
data example.tmp_polskie_12;
    set przyklad;
run;

优势：配置一次即可全局生效，适用于所有需要导出的表，操作最简单。

方案2：通过字典表批量生成导出代码 #

如果需要精细化控制（比如仅处理包含非ASCII字符的字段，或针对不同表设置不同规则），可以利用SAS的DICTIONARY.COLUMNS字典表批量生成带dbtype参数的导出代码：

单表批量处理示例 #

/* 1. 从字典表获取目标表的字符字段信息，生成dbtype参数列表 */
proc sql noprint;
    select cats(name, '=''nvarchar(', length, ')''')
    into :dbtype_params separated by ' '
    from dictionary.columns
    where libname='WORK' /* SAS源表所在库 */
      and memname='PRZYKLAD' /* 源表名，需大写 */
      and type='char'; /* 仅筛选字符型字段 */
quit;

/* 2. 自动生成导出代码 */
data example.tmp_polskie_12(dbtype=(&dbtype_params.));
    set przyklad;
run;

多表批量处理示例 #

如果要处理整个库的所有表，可以用循环遍历字典表中的表名：

/* 获取需要导出的所有表名 */
proc sql noprint;
    select distinct memname
    into :table_list separated by ' '
    from dictionary.columns
    where libname='WORK';
quit;

/* 循环处理每个表 */
%macro export_tables;
    %do i=1 %to %sysfunc(countw(&table_list.));
        %let table=%scan(&table_list., &i.);
        /* 获取当前表的字符字段参数 */
        proc sql noprint;
            select cats(name, '=''nvarchar(', length, ')''')
            into :dbtype_params separated by ' '
            from dictionary.columns
            where libname='WORK' and memname="&table." and type='char';
        quit;
        /* 导出表 */
        data example.&table.(dbtype=(&dbtype_params.));
            set work.&table.;
        run;
    %end;
%mend;
%export_tables;

优势：灵活可控，可根据字段属性、表名等自定义规则。

方案3：调整ODBC驱动的Unicode配置 #

部分数据库的ODBC驱动支持强制使用Unicode传输数据，自动将字符字段映射为NVARCHAR：

• SQL Server：在ODBC数据源配置中勾选「使用Unicode字符」，或在libname语句中添加UNICODE=YES参数：

  libname example odbc driver='SQL Server Native Client 11.0' 
      server='your_server' database='your_db' 
      uid='user' pwd='password' unicode=yes;
  

• PostgreSQL：使用支持Unicode的ODBC驱动（如psqlODBC），并在驱动配置中设置Client Encoding为UTF8。
• MySQL：在ODBC数据源配置中设置「字符集」为utf8mb4，确保驱动以Unicode方式传输数据。

优势：无需修改SAS代码，通过驱动配置解决问题，适合全环境统一配置。

内容的提问来源于stack exchange，提问作者MSiedlecki