Azure Data Lake查询表达式报错 分页查询CSV文件LIMIT语法错误

• 你使用的LIMIT 5,10是MySQL专属的分页语法，Azure Data Lake Storage Gen2的CSV查询语法遵循ANSI SQL标准，不支持这种逗号分隔偏移量和返回行数的写法，所以会触发语法错误。
• 即使添加了ORDER BY子句，只要LIMIT的写法不符合要求，依然会报错。

1. 修正查询语句 #

分页需要使用标准ANSI SQL的OFFSET ... ROWS FETCH NEXT ... ROWS ONLY语法，如果你需要跳过5行，返回后续10行数据，查询语句应该写成：

query_expression = 'SELECT * from DataLakeStorage ORDER BY mail OFFSET 5 ROWS FETCH NEXT 10 ROWS ONLY'

2. 完整可运行代码示例 #

你原有代码只需要替换查询语句即可：

filesystem_client = service_client.get_file_system_client(filesystem_name)
file_client = service_client.get_file_client(filesystem_name, "csvfile.csv")
# 修正后的分页查询语句
query_expression = 'SELECT * from DataLakeStorage ORDER BY mail OFFSET 5 ROWS FETCH NEXT 10 ROWS ONLY'
input_format = DelimitedTextDialect(
    delimiter=",",
    lineterminator="\n",
    escapechar="",
    has_header=True,
)
reader = file_client.query_file(
    query_expression,
    file_format=input_format,
)
content = reader.readall()
content = content.decode('utf-8')

3. Django分页通用封装 #

你可以在Django视图中根据前端传入的页码动态计算偏移量，实现通用分页：

def get_paginated_data(request):
    # 默认第1页，每页10条
    page = int(request.GET.get('page', 1))
    page_size = int(request.GET.get('page_size', 10))
    offset = (page - 1) * page_size
    # 动态拼接查询语句
    query_expression = f'SELECT * from DataLakeStorage ORDER BY mail OFFSET {offset} ROWS FETCH NEXT {page_size} ROWS ONLY'
    # 后续查询逻辑和上面一致，返回结果给模板渲染即可

• ORDER BY后必须选择值唯一的字段（比如示例中的mail字段如果是唯一的就符合要求），否则排序不稳定，会出现分页数据重复或遗漏的问题。
• 如果偏移量过大（比如超过10万行），ADLS的查询性能会明显下降，高频分页场景建议提前把数据同步到Azure SQL、PostgreSQL等专用查询数据库优化性能。

内容的提问来源于stack exchange，提问作者Sidharth kaushik