如何在JupyterLab中通过%sql获取数据库全量查询结果？

问题原因 #

连接数据库时自动设置了autolimit=500，这会强制限制查询返回的最大行数，所以即使你配置了pandas的显示行数，实际获取的数据已经被截断到500行。

解决方案 #

方法1：单查询临时禁用自动限制 #

在执行查询时添加--noautolimit参数，强制返回所有行：

import pandas as pd
pd.set_option('display.max_rows', None)
pd.set_option('display.max_columns', None)

# 用--noautolimit取消行数限制
df = %sql --noautolimit select * from database.xxx
# 注意是DataFrame()，首字母大写
table = df.DataFrame()

# 现在查看行数应该是完整的
print(table.shape[0])

方法2：全局修改SqlMagic的autolimit配置 #

如果需要所有查询都返回完整数据，可以修改全局配置，把autolimit设为None（不限制）或者一个足够大的数值：

# 修改全局配置，取消自动行数限制
%config SqlMagic.autolimit = None

# 之后执行的查询都会返回全部数据
df = %sql select * from database.xxx
table = df.DataFrame()
print(table.shape[0])

额外注意点 #

• 你的代码里df.Dataframe()是拼写错误，正确的是df.DataFrame()（首字母大写），否则会触发AttributeError。
• 如果担心一次性返回大量数据导致内存问题，可以根据实际情况设置一个足够大的autolimit值（比如%config SqlMagic.autolimit = 100000），而不是直接设为None。

内容的提问来源于stack exchange，提问作者zjh1001