如何用Python Pandas检测从S3读取的Excel列数据类型

1. 完整读取Excel文件到DataFrame #

你当前的代码仅提取了表头，需要先将文件（至少足够用于类型检测的行）读取到DataFrame，才能获取列的数据类型信息：

import boto3
import pandas as pd
import io

# 初始化S3资源
s3 = boto3.resource('s3')
# 获取目标S3对象
obj = s3.Bucket("some-bucket").Object("some-key").get()
# 将S3文件内容读取为DataFrame
df = pd.read_excel(io.BytesIO(obj['Body'].read()), engine="openpyxl")

2. 转换Pandas原生类型为友好名称 #

Pandas返回的列类型是numpy原生类型（如datetime64[ns]、object、float64），可以通过简单的判断逻辑转换成你需要的通用类型名称：

def map_dtype(pandas_dtype):
    dtype_str = str(pandas_dtype)
    if 'datetime' in dtype_str:
        return 'datetime'
    elif 'object' in dtype_str:
        return 'string'
    elif any(t in dtype_str for t in ['int', 'float', 'numeric']):
        return 'numeric'
    else:
        return 'unknown'

3. 生成表头-类型映射字典 #

利用DataFrame的.dtypes属性遍历所有列，生成你需要的键值对映射：

type_mapping = {column: map_dtype(df.dtypes[column]) for column in df.columns}

运行结果示例 #

针对你提供的样例数据，最终type_mapping的输出为：

{'Date': 'datetime', 'Name': 'string', 'Balance': 'numeric'}

可选优化：大文件快速类型检测 #

如果Excel文件体积很大，无需读取全部内容，仅读取前100行即可保证类型检测的准确性，同时提升效率：

df = pd.read_excel(io.BytesIO(obj['Body'].read()), engine="openpyxl", nrows=100)

内容的提问来源于stack exchange，提问作者hotmeatballsoup