PySpark连接RDS MySQL是否加载全表？如何按需加载？

1. 当前代码是否会加载整张表到内存？ #

首先明确两个核心点：

• Spark DataFrame采用惰性求值：执行load()时只是定义了数据源的逻辑计划，不会立刻读取任何数据。
• 当你调用head()触发计算时，默认配置下Spark会通过JDBC读取整张表的数据，但不会一次性把整张表加载到内存。Spark会将数据分成小块（分区）处理，数据会先被拉取到集群节点的存储（磁盘/内存，由Spark配置控制），然后只提取head()需要的前几行返回。

不过如果你的表非常大，这种行为依然会带来不必要的资源消耗和时间成本——因为Spark还是会从MySQL拉取全量数据，只是最终只返回少量结果。

2. 如何限制加载范围？ #

有几种高效的方式避免全表读取：

方式一：下推过滤条件到MySQL（推荐） #

直接在dbtable参数中指定带过滤条件的SQL子查询，让MySQL先执行过滤，只返回符合条件的数据：

table_1_df = spark.read.format("jdbc") \
    .option("url", "jdbc:mysql://mysql:3306/some_db") \
    .option("driver", "com.mysql.jdbc.Driver") \
    .option("dbtable", "(SELECT * FROM table1 WHERE id > 1000) AS filtered_table") \
    .option("user", "user") \
    .option("password", "pass") \
    .load()

这种方式的优势是过滤逻辑在MySQL端执行，大幅减少跨网络传输的数据量，效率最高。

方式二：按主键分区读取超大表 #

如果表有主键（比如id），可以通过分区参数让Spark并行读取数据，同时限定读取范围：

table_1_df = spark.read.format("jdbc") \
    .option("url", "jdbc:mysql://mysql:3306/some_db") \
    .option("driver", "com.mysql.jdbc.Driver") \
    .option("dbtable", "table1") \
    .option("user", "user") \
    .option("password", "pass") \
    .option("partitionColumn", "id") \  # 指定主键列作为分区依据
    .option("lowerBound", "1") \        # 主键最小值
    .option("upperBound", "10000") \    # 主键最大值
    .option("numPartitions", "4") \     # 分成4个分区并行读取
    .load()

这种方式适合超大型表，Spark会自动将主键范围拆分为多个区间，每个分区对应一个JDBC连接并行读取，你也可以结合子查询进一步过滤数据。

方式三：读取特定列减少数据量 #

如果只需要表中的部分列，直接在子查询中指定列名，减少传输的数据量：

table_1_df = spark.read.format("jdbc") \
    .option("url", "jdbc:mysql://mysql:3306/some_db") \
    .option("driver", "com.mysql.jdbc.Driver") \
    .option("dbtable", "(SELECT id, name FROM table1 WHERE id > 1000) AS filtered_table") \
    .option("user", "user") \
    .option("password", "pass") \
    .load()

注意：不要用Spark的filter方法先全表读取再过滤，这种方式会拉取全量数据到集群后再处理，仅适合小表快速验证逻辑。

内容的提问来源于stack exchange，提问作者Bhargav Panth