Pig中使用CSVLoader加载数据后替换空字段为指定字符串失败如何解决
Pig空部门字段替换问题解决方法
你当前的替换逻辑不生效的核心原因是:CSVLoader读取CSV中连续逗号分隔的空字段时,默认会将其解析为*空字符串('')*而非NULL值,你只判断了IS NOT NULL的场景,没有覆盖空字符串的情况,所以替换没有触发。
方案1:使用Pig内置ISEMPTY函数(推荐)
ISEMPTY函数会同时匹配NULL值和空字符串,无需写多个判断条件,代码更简洁:
list2 = FOREACH list GENERATE employee_name, city, (ISEMPTY(department) ? 'not decided' : department) AS department, joining_year;
方案2:显式同时判断NULL和空字符串
如果你需要更精细的判断逻辑,也可以显式写全两种场景的判断:
list2 = FOREACH list GENERATE employee_name, city, (department IS NOT NULL AND TRIM(department) != '' ? department : 'not decided') AS department, joining_year;
这里加了TRIM是为了兼容字段只有空格的场景,如果不需要可以去掉。
注意:你给出的示例数据中
"JANE STEVENS", AUSTIN, ACCOUNTING 2019这行,ACCOUNTING和2019之间缺少分隔逗号,如果你的实际数据也存在这个格式问题,会导致字段解析错位,需要先修正CSV文件的格式再处理。
内容的提问来源于stack exchange,提问作者Sim_R
相关产品推荐
相关产品推荐

