如何使用Keras实现未知答案问题的最优策略求解

你要找的是**强化学习（Reinforcement Learning, RL）**领域的相关内容，这是机器学习中专门解决「无明确标准答案、模型通过环境反馈自主摸索最优解法」问题的分支，和你之前接触的监督学习有本质区别：

• 监督学习的训练数据提前标注了明确正确答案，模型只需要学习输入到标准答案的映射，比如你做过的图片分类任务，每张图对应的正确类别是提前给定的
• 强化学习没有提前预设的「正确操作」标签，模型（RL语境中叫智能体/Agent）通过不断和场景交互、尝试不同动作，拿到动作对应的奖励反馈（比如你提到的游戏最终得分），自主调整行为逻辑，最终摸索出能拿到最高长期收益的最优策略，完全匹配你说的「自主探索问题全新解法」的需求。

你自己梳理的按得分高低决定学习强度的逻辑，刚好踩中了强化学习最核心的更新思路，比你之前直接过滤低得分对局的方案样本利用率高很多，完全可以直接落地到实际代码逻辑中。

入门实操路径（适配你有Keras使用基础的情况） #

• 前期不用啃复杂的数学推导，先花1-2天搞懂几个核心概念就能上手写demo：智能体、环境、状态（当前局面信息，比如游戏当前帧画面）、动作（可执行的操作，比如上下左右移动）、奖励（操作/对局对应的反馈分数）、策略（模型在什么状态下选什么动作的规则）。
• 第一个上手算法选Deep Q-Network（DQN）即可，这是最经典的深度强化学习入门算法，和Keras兼容性很好，逻辑和你想的规则高度匹配，你写的伪代码可以直接转化为训练时的损失权重逻辑：

# 对应你思路的简化训练权重逻辑
excellent_threshold = 0.9 * max_possible_score
bad_threshold = 0.2 * max_possible_score
if episode_score >= excellent_threshold:
    sample_weight = 2.0  # 高权重强化这类优秀对局的操作逻辑
elif episode_score > average_score:
    sample_weight = 1.0  # 正常学习高于平均水平的对局
elif episode_score < bad_threshold:
    sample_weight = -1.2 # 反向更新，让模型主动规避这类差对局的操作
else:
    sample_weight = 0.0  # 不学习中等偏下的无效轨迹

• 练手不要一开始就做复杂游戏，先从最简单的标准测试环境入手，比如CartPole（立杆小车）、MountainCar（爬坡小车），这类环境不需要复杂的图像预处理，几十行代码就能跑通完整的「探索-获取得分反馈-更新策略」循环，最快帮你建立对强化学习训练流程的直观认知。
• 跑通DQN之后再根据目标场景换适配算法：如果是需要连续输入的场景（比如赛车游戏打方向、踩油门的力度是连续值，不是离散的上下左右），可以用PPO、DDPG这类面向连续动作空间的算法；如果是棋盘类完美信息博弈，可以再了解蒙特卡洛树搜索和强化学习结合的方案。

新手常见避坑提示 #

• 不要追求100%让模型随机自主探索，纯随机试错的效率极低，训练时要平衡探索和利用的关系：最常用的是ε-greedy规则，训练过程中80%-90%的概率用当前学到的最优策略做动作，剩下10%-20%的概率随机选动作探索新的可能，也可以在训练前期混入少量人类高手的对局数据做预热，加快收敛速度。
• 不要把奖励设置得太稀疏：比如玩闯关游戏不要只把「最终通关」设为唯一奖励，中途打掉敌人、吃到增益道具、规避了致命伤害都可以给小额正向奖励，掉血、走错路给小额负向奖励，不然模型前期几乎碰不到通关的正向反馈，根本学不到有效策略。
• 你之前直接过滤低得分对局的做法不是完全错误，但效率很低：很多低得分对局并不是所有操作都错，可能前面90%的操作都是最优选择，最后一步失误才导致低分，直接全量过滤会浪费大量有效经验，用前面提到的加权更新方式，就能把这部分信息利用起来，训练速度会快很多。

内容的提问来源于stack exchange，提问作者Eisfreak