不使用PySpark，用Python连接HDFS Delta表并加载最新版本

一、PyArrow 是否支持加载 Delta 表最新版本？ #

PyArrow本身没有内置的Delta Lake专属加载选项，它的read_parquet方法会读取指定路径下所有Parquet文件，包含Delta表的历史版本数据。如果要通过PyArrow加载Delta表的最新版本，需要手动解析Delta的事务日志来筛选文件：

1. 读取Delta表路径下_delta_log目录中的最新日志文件（编号最大的.json文件）
2. 解析日志内容，提取最新版本对应的Parquet文件路径列表
3. 用PyArrow加载这些指定文件，同时传入已连接的HDFS文件系统对象

示例代码：

import pyarrow as pa
import pyarrow.fs as fs
import pyarrow.parquet as pq
import json
from pathlib import PurePosixPath

# 连接HDFS
hdfs = pa.hdfs.connect(host=ip, port=port)
delta_table_path = '/path/to/file/in/hdfs'
log_dir = PurePosixPath(delta_table_path) / '_delta_log'

# 获取并排序日志文件
log_files = hdfs.ls(str(log_dir))
json_logs = [f for f in log_files if f.endswith('.json')]
json_logs.sort(key=lambda x: int(x.split('/')[-1].split('.')[0]))
latest_log = json_logs[-1]

# 解析最新日志，提取有效文件路径
with hdfs.open(latest_log, 'rb') as f:
    log_content = [json.loads(line) for line in f]
added_files = [entry['path'] for entry in log_content if entry['action'] == 'add']
full_paths = [str(PurePosixPath(delta_table_path) / f) for f in added_files]

# 加载最新版本数据
table = pq.read_table(full_paths, filesystem=hdfs)
df = table.to_pandas()

二、如何安装带HDFS支持的deltalake库？ #

你遇到的错误是因为默认安装的deltalake未编译HDFS支持特性，可通过以下两种方式解决：

• 源码编译安装：确保环境已安装Rust编译环境和HDFS开发依赖（如libhdfs3），然后执行：

  pip install deltalake[hdfs] --no-binary deltalake
  

• Conda安装：使用conda-forge的预编译包（部分版本已包含HDFS支持），执行：

  conda install -c conda-forge deltalake
  

  安装后需确保环境变量HADOOP_HOME指向你的Hadoop安装目录，以加载HDFS依赖。

三、其他可用库推荐 #

• PySpark：这是最成熟的Delta Lake交互方案，原生支持Delta Lake和HDFS，可直接加载最新版本数据，无需手动解析日志：

  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder \
      .appName("DeltaLakeHDFS") \
      .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
      .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
      .getOrCreate()
  
  # 加载最新版本Delta表
  df = spark.read.format("delta").load("hdfs://ip:port/path/to/file/in/hdfs")
  # 转换为Pandas DataFrame（按需使用）
  pandas_df = df.toPandas()
  

  优势：完全支持Delta Lake的ACID事务、版本回溯、表优化等所有特性，生态完善。
• delta-spark：Delta Lake官方的Python绑定，依赖PySpark，可更简洁地调用Delta Lake的专属API（如版本切换、表维护等）。

内容的提问来源于stack exchange，提问作者Josin Mathew