使用Bokeh基于PySpark DataFrame绘制年度折线图点位顺序异常问题
问题解决方法
核心原因
Bokeh的折线图(line glyph)不会自动根据X轴数值大小对点位排序,严格按照传入ColumnDataSource的数据列表顺序依次连接点位,你看到的连线顺序错乱(比如1965连1967再连1966),本质是传入的年份、震级列表顺序不是按年份升序排列的。
你已经对PySpark DataFrame执行orderBy排序仍出现问题,是因为PySpark是分布式数据结构,orderBy仅保证Spark作业内的全局排序逻辑,你直接用df['字段'].values.tolist()的写法不符合PySpark的使用规范(PySpark DataFrame没有原生values属性),你大概率是隐式转换为Pandas DataFrame的过程中丢失了排序结果。
修复步骤
- 将排序后的PySpark DataFrame显式转换为本地Pandas DataFrame,固定排序结果:
# Join后排序,直接转Pandas,会保留orderBy的升序逻辑 df_quake_freq = df_quake_freq.join(df_avg, ['Year']).join(df_max, ['Year']) pdf_quake_freq = df_quake_freq.orderBy(asc('Year')).toPandas()
- 用转换后的Pandas DataFrame构造ColumnDataSource:
cds = ColumnDataSource(data=dict( yrs = pdf_quake_freq['Year'].tolist(), avg_mag = pdf_quake_freq['Avg_Magnitude'].round(1).tolist(), max_mag = pdf_quake_freq['Max_Magnitude'].tolist() ))
- 构造数据源前可先打印
pdf_quake_freq['Year'].tolist()确认年份是严格升序,只要列表顺序正确,折线就会按年份顺序正常连接。
内容的提问来源于stack exchange,提问作者Danny
相关产品推荐
相关产品推荐

