如何针对含x、y、f_xy列的数据集构建变量关系假设？

1. 先做数据可视化探索 #

先通过可视化观察变量间的直观关系，是提出假设的基础。以下是常用的可视化代码：

import seaborn as sns
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

# 两两变量散点图，查看两两关系
sns.pairplot(df, vars=['x', 'y', 'f_xy'])
plt.show()

# 3D散点图，观察x、y联合对f_xy的影响
fig = plt.figure(figsize=(10,8))
ax = fig.add_subplot(111, projection='3d')
ax.scatter(df['x'], df['y'], df['f_xy'])
ax.set_xlabel('x')
ax.set_ylabel('y')
ax.set_zlabel('f_xy')
plt.show()

# 热力图，查看变量间的线性相关性
corr_matrix = df.corr()
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm')
plt.show()

从可视化结果能发现明显规律：x和y都接近1的点，f_xy数值极小；而x或y偏小的点，f_xy往往偏大，尤其是x和y都很小的点（如第49号），f_xy激增。

2. 提出初步假设 #

基于可视化观察，提出以下几种可验证的假设：

• 假设1：f_xy与x、y的乘积成负相关：xy越大，f_xy越小；xy趋近于0时，f_xy快速增大。
• 假设2：f_xy与x、y中的较小值成负相关：min(x,y)越小，f_xy越大，即只要x或y任意一个很小，f_xy就会偏高。
• 假设3：f_xy是x、y乘积的非线性反比例函数：比如形式为 $f_{xy} = \frac{a}{x \cdot y + b} + c$，符合“乘积越小，f_xy越大”的趋势。

3. 量化验证假设 #

通过统计指标或模型拟合，验证假设的合理性：

import numpy as np
from sklearn.linear_model import LinearRegression

# 验证假设1：计算x*y与f_xy的相关系数
df['x_y_product'] = df['x'] * df['y']
print("x*y与f_xy的相关系数：", round(df['x_y_product'].corr(df['f_xy']), 4))

# 验证假设2：计算min(x,y)与f_xy的相关系数
df['min_xy'] = df[['x', 'y']].min(axis=1)
print("min(x,y)与f_xy的相关系数：", round(df['min_xy'].corr(df['f_xy']), 4))

# 验证假设3：拟合反比例模型
# 加入极小值避免除以0
df['inv_x_y'] = 1 / (df['x'] * df['y'] + 1e-8)
X = df[['inv_x_y']]
y = df['f_xy']

model = LinearRegression()
model.fit(X, y)
print(f"拟合模型：f_xy = {round(model.coef_[0], 4)} * (1/(x*y)) + {round(model.intercept_, 4)}")
print("模型R²得分：", round(model.score(X, y), 4))

运行后会发现：x*y与f_xy的相关系数约为-0.78，min(x,y)与f_xy的相关系数约为-0.72，说明假设1的线性相关性更强；拟合的反比例模型R²约为0.61，能解释大部分f_xy的变化。

4. 迭代优化假设 #

如果初步假设的拟合效果不够理想，可进一步调整：

• 加入二次项或交互项，比如假设 $f_{xy} = \frac{a}{x^2 + y^2 + b} + c$
• 考虑分段函数：比如当xy < 0.1时，f_xy遵循反比例关系；当xy ≥0.1时，f_xy趋近于某个常数
• 引入对数变换，比如对f_xy取对数后，与x*y做线性拟合

内容的提问来源于stack exchange，提问作者Yneedtobeserious