Spark-Cassandra如何基于查询获取数据并避免全表加载？

疑问1：filter操作是否会避免全表加载？ #

你使用的官方Datastax spark-cassandra-connector默认支持谓词下推特性，只要filter条件命中Cassandra表的主键（也就是当前场景的movie_id），过滤逻辑会直接被推送到Cassandra服务端执行，Spark只会拉取符合条件的少量行，完全不会加载全表。
你可以执行table_df.explain()自行验证：只要输出的执行计划中PushedFilters项包含movie_id的过滤规则，就说明谓词下推生效，没有触发全表扫描。

疑问2：动态查询大量ID的实现方案 #

针对每日动态变化的1000个ID查询场景，最推荐小表关联下压优化方案，比拼接长IN语句性能更稳定、也更易维护，连接器会自动将关联条件下压到Cassandra侧执行，不会触发全表扫描。
示例代码如下：

# 每日动态读取需要查询的ID列表，支持从文件、上游接口等任意来源获取
query_ids = [37032, 12345, 67890, ...] # 共1000个目标ID
# 生成查询用的小DataFrame
id_df = sqlContext.createDataFrame(query_ids, "int").toDF("movie_id")
# 和Cassandra表做等值关联，自动触发条件下压
result_df = id_df.join(
    table_df,
    on="movie_id",
    how="inner"
)

如果单次查询ID数量少于100个，也可以直接用IN条件实现：.filter(table_df.movie_id.isin(query_ids))，同样会触发谓词下推。但ID数量超过100之后，关联方案的性能表现更稳定，不会出现语法解析超时、查询语句过长的问题。

内容的提问来源于stack exchange，提问作者Doof