Spark RateStreamSource本地运行生成行速度远低于配置值问题咨询

• 核心原因是参数拼写错误：Spark RateStreamSource的速率配置参数为rowsPerSecond（末尾带s），你使用的rowPerSecond为非法参数会被Spark忽略，速率会采用默认值1行/秒，直接导致生成速度极慢。
• 其次和本地运行环境的资源配置相关：如果初始化SparkSession时使用默认的local单核心运行模式，或者分配的CPU核心数远小于你配置的numPartitions=100，没有足够的线程并行处理100个分区的数据生成任务，任务排队执行也会拉低整体生成速率。
• 另外sink配置不合理也会导致该问题：如果使用逐行打印的同步sink，或者微批触发间隔设置过大，消费速度跟不上生成速度会触发Spark流的反压机制，反过来限制上游的数据生成速率。

• 第一步修正参数拼写，将rowPerSecond改为正确的rowsPerSecond，确保速率配置生效。
• 调整本地Spark的资源配置：初始化SparkSession时指定local[N]作为运行master，N的数值建议和你配置的分区数匹配（不超过本地物理CPU核心数的2倍避免调度开销过大），同时适当调大driver和executor的内存，参考配置如下：

from pyspark.sql import SparkSession

spark = (SparkSession.builder
         .master("local[128]")
         .appName("RateStreamPerfTest")
         .config("spark.driver.memory", "4g")
         .config("spark.executor.memory", "4g")
         .getOrCreate())

• 优化流任务的触发和sink配置：性能测试阶段建议使用无输出的noop sink避免IO开销成为瓶颈，同时设置合理的微批触发间隔，参考配置如下：

query = (df.writeStream
         .format("noop")
         .trigger(processingTime="1 second")
         .start())
query.awaitTermination()

• 调整分区数到合理范围：如果本地CPU核心数有限，可以适当调低numPartitions的数值，避免过多的分区调度开销拖累整体性能。

内容的提问来源于stack exchange，提问作者fuyi