如何在Python连接Impala数据集市后显示表的列名

这个问题很常见——你已经成功从Impala拉取了数据，但DataFrame默认用数字索引当列名，没带上原表的字段名。其实只需要从Impala的游标（cursor）里提取列名信息，再传给DataFrame就行，给你两种实用的方案：

方案1：修改函数返回数据和列名，外部构造DataFrame #

先调整你的impala_connection函数，让它同时返回查询结果和对应的列名：

def impala_connection(host, port, user, password, database):
    conn = connect(host=host, port=port, user=user, password=password, database=database)
    cursor = conn.cursor()
    cursor.execute('SELECT * from table1')
    
    # 从游标description中提取列名：每个元素的第一个值就是列名
    column_names = [desc[0] for desc in cursor.description]
    results = cursor.fetchall()
    
    # 记得关闭游标和连接，避免资源泄漏
    cursor.close()
    conn.close()
    
    return results, column_names

然后在生成DataFrame时，把列名传给columns参数：

data, cols = impala_connection(host_name, port, user, password, database)
table1 = pd.DataFrame(data, columns=cols)

方案2：函数内部直接返回带列名的DataFrame #

如果希望更简洁，也可以让函数直接构造好带列名的DataFrame返回：

def impala_connection(host, port, user, password, database):
    conn = connect(host=host, port=port, user=user, password=password, database=database)
    cursor = conn.cursor()
    cursor.execute('SELECT * from table1')
    
    column_names = [desc[0] for desc in cursor.description]
    results = cursor.fetchall()
    
    # 直接构造DataFrame并指定列名
    df = pd.DataFrame(results, columns=column_names)
    
    cursor.close()
    conn.close()
    return df

调用时直接拿到带列名的DataFrame：

table1 = impala_connection(host_name, port, user, password, database)

补充说明 #

cursor.description是Impala游标提供的属性，它是一个元组列表，每个元组对应查询结果的一列，其中第一个元素就是该列的名称，后续元素还包含列的类型、长度等元数据，我们只需要提取第一个值就能得到完整的列名列表。

内容的提问来源于stack exchange，提问作者Nabih Bawazir