Polars从标准输入stdin读取数据的方法及报错解决方案
Polars 标准输入读取问题解答
Polars 本身支持从标准输入(stdin)读取 CSV 数据,你之前运行报错的核心原因是:传入/dev/stdin路径时,Polars 底层会按照普通磁盘文件的逻辑处理输入,会尝试执行内存映射、文件指针随机跳转、文件总大小探测等操作,而管道类型的标准输入流不支持这类操作,因此触发OSError: No such device (os error 19)错误。
正确实现方式
不要传入/dev/stdin路径,直接将标准输入的二进制流对象传入pl.read_csv即可,Polars 原生支持接收可读二进制流作为输入源。
可直接运行的正确命令如下:
printf "1,2,3\n1,2,3\n" | python -c 'import polars as pl; import sys; df = pl.read_csv(sys.stdin.buffer); print(df)'
默认配置下 Polars 会将输入第一行识别为表头,上述命令运行后的正常输出为:
shape: (1, 3) ┌─────┬─────┬─────┐ │ 1 ┆ 2 ┆ 3 │ │ --- ┆ --- ┆ --- │ │ i64 ┆ i64 ┆ i64 │ ╞═════╪═════╪═════╡ │ 1 ┆ 2 ┆ 3 │ └─────┴─────┴─────┘
注意事项
- 请传入二进制模式的标准输入
sys.stdin.buffer,不要直接传文本模式的sys.stdin,避免出现编码解析异常。 - 如果输入数据不包含表头行,添加
has_header=False参数即可,Polars 会自动生成默认的序列列名。
内容的提问来源于stack exchange,提问作者Mitchell
相关产品推荐
相关产品推荐

