强化学习（RL）作为未知环境中序列决策的核心范式，面临着模型复杂度爆炸与非凸性带来的样本效率和计算效率挑战。本文系统梳理强化学习的统计与算法基础，重点涵盖：

• 基于马尔可夫决策过程（MDP）的统一数学框架，详述折扣无限时域与有限时域MDP模型。

• 多样化强化学习场景解析：拥有模拟器的RL、在线RL、离线RL、鲁棒RL及结合人类反馈的RL。

• 主流算法体系全景：模型驱动方法（构建并利用环境模型）、价值驱动方法（如Q-learning及其变体）、策略优化方法（策略梯度及自然策略梯度等）。

• 样本复杂度与计算复杂度的非渐近分析，涵盖算法相关下界与信息论极限，明确各类方法的理论最优性及局限。

• 先进算法设计原则：乐观探索与悲观保守原则在在线与离线环境中的应用，助力解决分布转移与数据覆盖不足问题。

• 对抗环境不确定性的分布鲁棒强化学习，兼顾性能和安全性。

• 结合人类偏好反馈的强化学习方法，推动大型语言模型等实际系统的性能提升与行为校准。

该教程兼顾理论深度与算法实用性，为研究者提供了现代强化学习的核心工具包与最新进展，是理解和设计高效RL算法的重要参考。

详情见🔗 arxiv.org/abs/2507.14444

强化学习 马尔可夫决策过程 样本复杂度 策略优化 鲁棒强化学习 人类反馈