如何从SQL查询结果生成数据类型正确、无冗余空格的DataFrame？

核心问题定位 #

你代码里犯了一个关键错误：误用pd.read_csv()执行SQL查询，这个函数是专门读取CSV文件的，不是用来和数据库交互的，这直接导致了数据类型识别错误和字符串空格问题。

解决方案 #

1. 替换正确的SQL读取方式 #

改用pd.read_sql()（pandas官方推荐的数据库查询方法），或者通过pyodbc cursor获取数据后手动构造DataFrame，两种方式都能避免基础的读取错误。

2. 解决整数列被识别为浮点数的问题 #

这种情况通常是因为列中存在NULL值，pandas默认的int类型不支持空值，会自动转成float。解决方法有两种：

• 用pandas支持空值的整数类型Int64（注意是大写I）转换列类型
• 在读取时指定列的dtype，或者先填充空值再转常规int类型

3. 解决字符串末尾多余空格的问题 #

可以在两个层面处理：

• SQL查询阶段：用数据库的TRIM()类函数（比如SQL Server用LTRIM(RTRIM(col))）直接处理字段
• pandas处理阶段：用str.strip()去除字符串首尾空格

修正后的代码示例 #

方式一：使用pd.read_sql（推荐） #

import pyodbc
import pandas as pd

def query(sql_query):
    # 替换为你的数据库连接参数
    conn = pyodbc.connect('DRIVER={SQL Server};SERVER=your_server;DATABASE=your_db;UID=user;PWD=password')
    # 读取SQL结果
    df = pd.read_sql(sql_query, conn)
    
    # 处理字符串列末尾空格（假设Column B是字符串列）
    df['Column B'] = df['Column B'].str.strip()
    
    # 处理整数列转浮点数问题（假设Column A是整数列）
    # 方案1：填充空值后转常规int
    df['Column A'] = df['Column A'].fillna(0).astype(int)
    # 方案2：用支持空值的Int64类型保留空值
    # df['Column A'] = df['Column A'].astype('Int64')
    
    conn.close()
    return df

方式二：通过cursor手动构造DataFrame #

import pyodbc
import pandas as pd

def query(sql_query):
    conn = pyodbc.connect('DRIVER={SQL Server};SERVER=your_server;DATABASE=your_db;UID=user;PWD=password')
    cursor = conn.cursor()
    cursor.execute(sql_query)
    
    # 获取列名和查询结果
    columns = [col[0] for col in cursor.description]
    data = cursor.fetchall()
    
    df = pd.DataFrame.from_records(data, columns=columns)
    
    # 处理空格和类型问题
    df['Column B'] = df['Column B'].str.strip()
    df['Column A'] = df['Column A'].astype('Int64')  # 支持空值的整数类型
    
    cursor.close()
    conn.close()
    return df

额外优化：在SQL层面预处理数据 #

如果有权限修改查询语句，可以直接在SQL中处理空格和类型，减少pandas的工作量：

SELECT 
    Column_A,  -- 若需处理空值，可用ISNULL(Column_A, 0)转为非空整数
    LTRIM(RTRIM(Column_B)) AS Column_B
FROM your_table

内容的提问来源于stack exchange，提问作者user23220406