强化学习核心概念与公式总结

强化学习核心概念与公式总结

1. 核心概念

1.1 智能体(Agent)和环境(Environment)

• 智能体：学习和做决策的实体
• 环境：智能体交互的外部系统

1.2 状态(State)

• 描述环境在特定时刻的情况

1.3 动作(Action)

• 智能体可以执行的操作

1.4 奖励(Reward)

• 环境对智能体动作的即时反馈

1.5 策略(Policy)

• 定义智能体在给定状态下应采取的动作

1.6 价值函数(Value Function)

• 评估状态或动作的长期价值

1.7 Q函数(Q-function)

• 特殊的价值函数，评估状态-动作对的价值

1.8 探索与利用(Exploration vs Exploitation)

• 在尝试新动作和利用已知好动作之间取得平衡

1.9 回合(Episode)

• 从初始状态到终止状态的完整交互序列

1.10 折扣因子(Discount Factor)

• 决定未来奖励的重要性

2. 关键公式

2.1 策略(Policy)

确定性策略

$$a=\pi (s)$$

随机策略

$$\pi (a|s)=P(A_t=a|S_t=s)$$

2.2 价值函数(Value Function)

状态价值函数

$$V_{\pi }(s)={\mathbb{E}}_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s]$$

动作价值函数(Q函数)

$$Q_{\pi }$$