RL 怎么分别 强化学习概念区分详解

RL 是 Reinforcement Learning 的缩写，中文名称是强化学习，很多初学者看到 RL 缩写，容易把它和机器学习其他分支弄混，也会分不清 RL 内部不同算法类别，核心区分思路就是先确认 RL 本身所属大类，再按照学习方式，是否有环境模型，智能体更新策略这几个维度做拆分，RL 本质是智能体和环境持续交互，通过试错获得奖励信号，不断优化动作策略，和监督学习最大差别是它没有提前标注好的标准答案，依靠奖励反馈来学习，学习过程是序列决策，不是单样本分类回归，掌握这套区分逻辑之后，就能分清 RL 里面的 Q 学习 SARSA 策略梯度等不同算法，不会在选择题和概念题里面混淆。

RL 所属机器学习大类对照表

RL 内部主流算法分别

1 基于值函数的 RL 算法

核心思路是计算状态或者动作的价值，选择价值最高的动作，代表算法 Q Learning SARSA，Q Learning 是离轨算法，SARSA 是同轨算法，这一组是 RL 最常考的区分点

2 基于策略梯度的 RL 算法

不计算价值，直接优化策略函数，代表算法 REINFORCE，适合动作空间连续的场景，这是和值函数类 RL 最大分别

3 Actor Critic 类 RL 算法

同时结合值函数和策略网络，也就是演员评论家结构，代表算法 A2C A3C，融合前面两类 RL 算法优点，收敛速度更快

4 模型类 RL 算法

会学习环境本身的转移模型，预测下一步状态，不需要一直和真实环境交互，和无模型 RL 形成分别，无模型 RL 不会建立环境模型，全部依靠真实交互采样

同轨和离轨的分别

同轨 On Policy，当前正在执行的策略和用来更新的策略是同一个，典型就是 SARSA，策略更新之后旧采样数据不能继续使用

离轨 Off Policy，采样数据来自旧策略，更新使用新策略，典型就是 Q Learning，可以复用历史经验，样本利用率更高，这个是 RL 概念里面高频考点

区分实操步骤

第一步 看到缩写 RL，先确认是强化学习，排除监督学习无监督学习

第二步 判断题目问的是 RL 和其他机器学习分支分别，还是 RL 内部算法分别

第三步 看算法是否学习环境模型，区分有模型 RL 和无模型 RL

第四步 判断是同轨还是离轨，区分 SARSA 和 Q Learning

第五步 判断优化对象是值函数还是策略，区分值函数类 RL 和策略梯度类 RL

拓展易混缩写

DL 深度学习 Deep Learning，经常和 RL 结合形成深度强化学习 DRL，很多同学会把 RL 单独和 DL 搞混，DL 是神经网络表示学习，RL 是决策学习，DRL 就是把深度学习作为 RL 里面的策略或者值函数网络

【常见问题】

问题 1 RL 怎么分别 它和监督学习核心差别是什么

回答 1 RL 怎么分别，RL 也就是强化学习，和监督学习核心分别是监督学习拥有标注标签，RL 没有标准答案，依靠环境奖励信号试错学习，属于序列决策任务

问题 2 RL 怎么分别 Q Learning 和 SARSA 有什么分别

回答 1 RL 怎么分别，Q Learning 属于离轨 RL 算法，SARSA 属于同轨 RL 算法，这是这两个经典 RL 算法最关键的分别，更新策略和采样策略是否一致

问题 3 RL 怎么分别 有模型 RL 和无模型 RL 怎么区分

回答 1 RL 怎么分别，有模型 RL 会学习环境状态转移模型，无模型 RL 不建立环境模型，直接通过和环境交互采样更新，这就是两类 RL 最核心分别

问题 4 RL 怎么分别 RL 和 DRL 是什么关系

回答 1 RL 怎么分别，RL 是强化学习基础框架，DRL 是深度强化学习，属于 RL 的延伸分支，把深度学习神经网络融入 RL 算法当中

【免责申明】

本文为人工智能基础概念讲解，不同教材对 RL 算法分类表述略有差异，部分新型 RL 算法存在交叉特性，学习请结合课程教材与权威文献，内容仅作为应试学习参考。