# 深度强化学习

**Repository Path**: itsncut/deepreinforcementlearning

## Basic Information

- **Project Name**: 深度强化学习
- **Description**: 《深度强化学习》是北方工业大学计算机科学与技术学院的一门专业选修课程，旨在培养学生在深度学习和强化学习理论基础上，能够利用深度强化学习算法解决实际问题的的能力。

课程目标

通过本课程学习，学生能够：

掌握深度学习的基本概念和理论
掌握强化学习的基本概念和理论
理解深度强化学习的原理和方法
熟悉深度强化学习算法的应用
能够利用深度强化学习算法解决实际问题
- **Primary Language**: Python
- **License**: GPL-3.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 3
- **Forks**: 1
- **Created**: 2023-04-13
- **Last Updated**: 2026-08-14

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 《深度强化学习》

## 课程简介

本课程系统讲授深度强化学习的基本理论、核心算法及其在智慧交通领域的应用。课程覆盖从基础理论到前沿算法的完整知识体系，包含九大部分、二十一章内容。

## 课程结构

| 部分 | 章节 | 主题 |
|------|------|------|
| 第一部分 | 第1-2章 | 课程导论与智慧交通应用概述 |
| 第二部分 | 第3-5章 | 强化学习基础理论 |
| 第三部分 | 第6-8章 | 表格型强化学习 |
| 第四部分 | 第9-10章 | 深度学习基础 |
| 第五部分 | 第11-12章 | 基于价值函数的深度强化学习 |
| 第六部分 | 第13-15章 | 策略梯度与Actor-Critic |
| 第七部分 | 第16章 | 连续动作控制 |
| 第八部分 | 第17-18章 | 多智能体强化学习 |
| 第九部分 | 第19-21章 | 智慧交通强化学习问题建模 |

## 关于本课程

本课程系统讲授**深度强化学习**的基本理论、核心算法及其在**智慧交通领域**的应用。课程从强化学习的基本概念出发，逐步深入到深度Q网络、策略梯度、PPO、SAC等主流算法，并结合交通信号控制、路径选择、车辆跟驰、多交叉口协调等实际场景，帮助学生建立从理论到实践的完整知识体系。

## 课程结构

### 第一部分：课程导论与智慧交通应用概述（第1-2章）

介绍强化学习的基本概念，建立共同语言；系统分析七个典型交通控制问题的序贯决策特性，为后续学习奠定问题认知基础。

### 第二部分：强化学习基础理论（第3-5章）

系统讲解强化学习的基本要素（智能体、环境、状态、动作、奖励、策略、价值函数），马尔可夫决策过程及其贝尔曼方程，以及动态规划方法。

### 第三部分：表格型强化学习（第6-8章）

从蒙特卡洛方法到时序差分学习，再到SARSA与Q-learning，掌握从采样经验中学习价值的方法，理解同策略与异策略学习的本质区别。

### 第四部分：深度学习基础（第9-10章）

学习神经网络的基本原理（前向传播、反向传播、优化算法），以及面向交通数据的深度学习方法（RNN、LSTM、GNN等）。

### 第五部分：基于价值函数的深度强化学习（第11-12章）

从DQN到Rainbow，掌握深度Q网络的核心机制（经验回放、目标网络）以及各项改进算法（Double、Dueling、PER等）。

### 第六部分：策略梯度与Actor-Critic（第13-15章）

从策略梯度定理到Actor-Critic框架，再到PPO算法，理解从"评价动作"到"直接优化策略"的范式转变。

### 第七部分：连续动作控制（第16章）

学习DDPG、TD3、SAC三种连续控制算法，理解确定性策略梯度与最大熵强化学习的思想。

### 第八部分：多智能体强化学习（第17-18章）

从单智能体到多智能体，掌握CTDE范式、IQL、MADDPG、MAPPO、QMIX等算法，应用于多交叉口协调控制。

### 第九部分：智慧交通强化学习问题建模（第19-21章）

系统学习交通环境建模、奖励函数设计、实验设计与评价方法，将理论算法转化为可信的交通工程结论。

## 学习建议

- 按章节顺序学习，前一部分是后一部分的基础
- 每一章都配有思考题，建议学完后尝试回答
- 重点关注公式的物理含义和交通场景中的对应关系
- 建议结合代码实现加深理解

## 课程信息

- **适用对象**：智慧交通、交通运输、计算机科学、自动化等相关专业本科生和研究生
- **前置知识**：基础概率论与数理统计、基础线性代数、基础Python编程
- **课程体系**：九大部分、二十一章、约400页教学PPT、60张配图