使用Dask连接AWS Redshift触发ValueError，如何解决？

问题根源 #

你的代码中定义host、database、port等变量时，每个变量末尾多了逗号，导致这些变量被定义成元组类型（比如port变成了(5439,)），拼接连接字符串时元组的格式被带入，最终引发端口解析的类型错误。

修复步骤 #

1. 修正变量定义的语法错误 #

把以下代码中的逗号全部去掉，让变量恢复为正常的字符串/整数类型：

import sqlalchemy as sa
host=os.environ['host']  # 去掉末尾逗号
database=os.environ['database']  # 去掉末尾逗号
port=int(os.environ['port'])  # 去掉末尾逗号
user=os.environ['user']  # 去掉末尾逗号
password=os.environ['password']  # 去掉末尾逗号

2. 正确拼接连接字符串 #

修正变量后，重新拼接符合格式要求的连接字符串：

conn_str = f'redshift+redshift_connector://{user}:{password}@{host}:{port}/{database}'

3. （推荐）用SQLAlchemy构造连接URL #

手动拼接字符串容易出错，更稳妥的方式是用sqlalchemy.engine.URL构造连接对象：

from sqlalchemy.engine import URL

conn_url = URL.create(
    drivername='redshift+redshift_connector',
    username=user,
    password=password,
    host=host,
    port=port,
    database=database
)

之后Dask的read_sql_query可以直接传入这个conn_url对象。

完整可运行代码示例 #

import os
import sqlalchemy as sa
from sqlalchemy.engine import URL
import dask.dataframe as dd

# 环境变量配置
env_var_dict = {
    'host':'xxxx.us-east-1.redshift.amazonaws.com',
    'database':'db1',
    'port':'5439',
    'user':'user1',
    'password':'xxxxx'
}

# 批量设置环境变量
for key, value in env_var_dict.items():
    os.environ[key] = value

# 获取配置变量（无多余逗号）
host = os.environ['host']
database = os.environ['database']
port = int(os.environ['port'])
user = os.environ['user']
password = os.environ['password']

# 构造SQLAlchemy连接URL
conn_url = URL.create(
    drivername='redshift+redshift_connector',
    username=user,
    password=password,
    host=host,
    port=port,
    database=database
)

# Dask查询语句
query = '''
SELECT * 
FROM tbl
WHERE type = 'xxx'
  AND created_at >= '2023-01-01 00:00:00'
  AND created_at <= '2023-12-01 00:00:00'
'''

# 读取数据，index_col选择均匀分布的列保证分区性能
df = dd.read_sql_query(query, conn_url, index_col='id', npartitions=4)

# 验证数据
print(df.head())

额外注意事项 #

• 确保已安装依赖包：pip install dask redshift-connector sqlalchemy
• index_col需选择分布均匀的列（如自增ID），避免分区不平衡影响性能
• 大数据量场景下，可通过npartitions指定分区数，或用bytes_per_chunk让Dask自动计算分区

内容的提问来源于stack exchange，提问作者kms