Java8 Spark Streaming Twitter API foreachRDD求RDD词数字符均值报错咨询
报错根因
编译报错是两个问题叠加导致的:
- Spark Java API中
foreachRDD接受的函数式接口是返回void的副作用操作接口,明确要求代码块不能有任何带返回值的return语句。 - 抛开算子的要求,Java语言本身也不支持
return avgWc, avgCc;这种逗号分隔的多返回值写法,本身就不符合Java语法规则。
实现方案
不需要更换流处理的核心逻辑,根据你的使用场景调整实现细节即可:
场景1:仅需每批次计算后打印、落库(无后续流处理需求)
直接用foreachRDD实现即可,删掉多余的return语句,在代码块内部完成计算和输出即可,不需要跨代码块传递返回值。同时可以优化原有逻辑的冗余计算和边界问题:
- 移除无意义的字符数计算逻辑:原来
split("").length的写法本质和字符串自带的length()方法完全等价,还会产生不必要的性能开销 - 修复词数统计的误差:原来用
split(" ")的写法遇到连续空格时会切出空字符串,导致词数虚高,换成split("\\s+")匹配连续空白符更准确 - 增加空RDD的边界判断,避免除零异常
修正后的可运行代码如下:
//Create the stream. JavaReceiverInputDStream<Status> twitterStream = TwitterUtils.createStream(jssc); //Outputs the text of tweets to a JavaDStream. JavaDStream<String> statuses = twitterStream.map(Status::getText); //Get the average number of words & characters in each RDD pulled during streaming. statuses.foreachRDD(rdd -> { long totalTweets = rdd.count(); // 空批次直接跳过,避免除零 if (totalTweets == 0) { System.out.println("当前批次无有效推文,跳过统计"); return; } // 单RDD扫描完成总词数、总字符数统计,减少不必要的行动操作次数 long[] totalStats = rdd.map(s -> new long[]{ s.split("\\s+").length, s.length() }).reduce((arr1, arr2) -> new long[]{ arr1[0] + arr2[0], arr1[1] + arr2[1] }); double avgWordCount = (double) totalStats[0] / totalTweets; double avgCharCount = (double) totalStats[1] / totalTweets; // 直接在代码块内完成结果输出,不需要return System.out.printf("批次统计完成:推文总数=%d, 平均词数=%.2f, 平均字符数=%.2f%n", totalTweets, avgWordCount, avgCharCount); });
场景2:需要把统计结果作为流的一部分做后续处理
如果不想只做副作用输出,希望把每批次的统计结果生成新的DStream供后续步骤消费,就替换为transform算子——这个算子本身会返回每批次计算后的新RDD,自带返回值能力,适配多步流处理的场景。
示例代码:
// 生成每批次的统计结果DStream JavaDStream<long[]> statsDStream = statuses.transform(rdd -> { long totalTweets = rdd.count(); if (totalTweets == 0) { return jssc.sparkContext().emptyRDD(); } long[] totalStats = rdd.map(s -> new long[]{ s.split("\\s+").length, s.length() }).reduce((a, b) -> new long[]{a[0]+b[0], a[1]+b[1]}); // 把统计结果打包成单元素RDD返回 return jssc.sparkContext().parallelize(Collections.singletonList( new long[]{totalTweets, totalStats[0], totalStats[1]} )); }); // 后续可对statsDStream做打印、写库、二次计算等操作 statsDStream.foreachRDD(rdd -> rdd.collect().forEach(row -> System.out.printf("批次统计值:%s%n", Arrays.toString(row)) ));
内容的提问来源于stack exchange,提问作者M00N KNIGHT
相关产品推荐
相关产品推荐

