SAS无格式数值列转Hive表：如何识别数据类型避免精度丢失？

针对无格式定义的SAS数值列（标记为Num），可以通过以下方法识别其数据构成，进而生成适配的Hive表结构，避免小数位截断：

方法一：数据步逐列检查小数存在性 #

通过遍历数据集，判断每个数值是否等于其整数部分，统计列中是否存在整数、小数或两者皆有。

单列检查代码 #

data _null_;
    set your_sas_dataset end=eof;
    retain has_decimal 0 has_integer 0;
    /* 替换your_num_col为目标列名 */
    if your_num_col ne floor(your_num_col) then has_decimal = 1;
    else has_integer = 1;
    if eof then do;
        put '列名: your_num_col';
        if has_decimal and has_integer then put '  同时包含整数和小数';
        else if has_decimal then put '  仅包含小数';
        else put '  仅包含整数';
    end;
run;

批量检查所有数值列的宏 #

如果需要处理多个列，可以用宏自动遍历所有数值列：

%macro check_num_cols(ds=);
    /* 从数据字典获取所有数值列名 */
    proc sql noprint;
        select name into :num_cols separated by ' '
        from dictionary.columns
        where libname=upcase(scan("&ds",1,'.')) 
          and memname=upcase(scan("&ds",2,'.'))
          and type='num';
    quit;

    data _null_;
        set &ds end=eof;
        %let col_count=%sysfunc(countw(&num_cols));
        /* 为每个列初始化标记变量 */
        %do i=1 %to &col_count;
            %let col=%scan(&num_cols,&i);
            retain has_decimal_&col 0 has_integer_&col 0;
            if &col ne floor(&col) then has_decimal_&col = 1;
            else has_integer_&col = 1;
        %end;
        /* 遍历结束后输出每个列的结果 */
        if eof then do;
            %do i=1 %to &col_count;
                %let col=%scan(&num_cols,&i);
                put "列名: &col";
                if has_decimal_&col and has_integer_&col then put "  同时包含整数和小数";
                else if has_decimal_&col then put "  仅包含小数";
                else put "  仅包含整数";
            %end;
        end;
    run;
%mend;

/* 调用宏，替换为你的SAS数据集（库名.表名） */
%check_num_cols(ds=your_library.your_dataset);

方法二：结合PROC MEANS快速统计 #

利用PROC MEANS获取列的极值，再结合数据步验证是否存在小数，判断列的类型：

/* 获取数值列的极值统计 */
proc means data=your_sas_dataset noprint;
    var _numeric_;
    output out=num_statistics min= max= / autoname;
run;

/* 分析统计结果，确定每个列的数据构成 */
data column_types;
    set num_statistics;
    array num_cols _numeric_;
    array min_vals min_:;
    array max_vals max_:;
    nobs = nobs(your_sas_dataset);
    do i=1 to dim(num_cols);
        col_name = vname(num_cols[i]);
        has_decimal = 0;
        /* 遍历数据集检查是否存在非整数值 */
        do _n_=1 to nobs while(not has_decimal);
            set your_sas_dataset point=_n_;
            if num_cols[i] ne floor(num_cols[i]) then do;
                has_decimal = 1;
                leave;
            end;
        end;
        /* 确定Hive对应数据类型 */
        if has_decimal then hive_type = 'DOUBLE'; /* 保留小数用DOUBLE */
        else do;
            /* 全整数时，根据数值范围选择INT或BIGINT */
            if min_vals[i] >= -2147483648 and max_vals[i] <= 2147483647 then hive_type = 'INT';
            else hive_type = 'BIGINT';
        end;
        output;
    end;
    keep col_name hive_type;
run;

方法三：自动生成Hive建表语句 #

基于上述分析结果，可以直接生成适配的Hive建表语句：

proc sql noprint;
    select catx(' ', col_name, hive_type, ',') into :hive_columns separated by ' '
    from column_types;
quit;

/* 将建表语句写入文件 */
data _null_;
    file 'hive_create_table.hql';
    put "CREATE TABLE your_hive_database.your_hive_table (";
    put "  &hive_columns";
    put ") STORED AS PARQUET;"; /* 根据需求修改存储格式（如ORC、TEXTFILE） */
run;

内容的提问来源于stack exchange，提问作者Anand Reddy