# DeepLearning

**Repository Path**: antcoding/DeepLearning

## Basic Information

- **Project Name**: DeepLearning
- **Description**: base_learning_algs: 基础算法，包括adaboost、lightgbm、xgboost
deep_learning_algs: 深度学习算法，包括CNN、DBN、RBM、DNN、RNN

- **Primary Language**: R
- **License**: MulanPSL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2021-05-17
- **Last Updated**: 2023-07-23

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# DeepLearning

#### 介绍
##### base_learning_algs: 

基础算法，包括adaboost、lightgbm、xgboost

Adaboost: 是一种迭代算法，其核心思想是针对同一个训练集训练不同的[分类器](https://baike.baidu.com/item/分类器/3317404)(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）

LigthGBM: 是boosting集合模型中的新进成员，它和xgboost一样是对GBDT的高效实现，很多方面会比xgboost表现的更为优秀。原理上它和GBDT及xgboot类似，都采用损失函数的负梯度作为当前决策树的残差近似值，去拟合新的决策树。

XGBoost: 是"极端梯度提升"(eXtreme Gradient Boosting)的简称。XGBoost  源于梯度提升框架，但是更加高效，秘诀就在于算法能并行计算、近似建树、对稀疏数据的有效处理以及内存使用优化，这使得 XGBoost  至少比现有梯度提升实现有至少 10 倍的速度提升。

##### deep_learning_algs: 

深度学习算法，包括CNN、DBN、RBM、DNN、RNN:

CNN: 

CNN全名叫卷积神经网络，主要的模型结构有卷积、池化、激活三个组成部分。卷积层中最重要的概念是卷积核，卷积核可以理解为是一种特征，将输入和卷积核相乘得到的结果就是输入在这个特征上的投影，这个投影可以称之为特征图。

DBN：

深度信念网络，DBN，Deep Belief Nets，神经网络的一种。既可以用于非监督学习，类似于一个自编码机；也可以用于监督学习，作为分类器来使用。从非监督学习来讲，其目的是尽可能地保留原始特征的特点，同时降低特征的维度。从监督学习来讲，其目的在于使得分类错误率尽可能地小。而不论是监督学习还是非监督学习，DBN的本质都是Feature Learning的过程，即如何得到更好的特征表达。

RBM：

受限玻尔兹曼机(Restricted Boltzmann Machine,简称RBM)是由Hinton和Sejnowski于1986年提出的一种生成式随机神经网络(generative stochastic neural network)，该网络由一些可见单元(visible unit，对应可见变量，亦即数据样本)和一些隐藏单元(hidden unit，对应隐藏变量)构成，可见变量和隐藏变量都是二元变量，亦即其状态取{0,1}。

DNN：

深度神经网络（Deep Neural Networks， 以下简称DNN）是深度学习的基础，神经网络是基于感知机的扩展，而DNN可以理解为有很多隐藏层的神经网络。多层神经网络和深度神经网络DNN其实也是指的一个东西，DNN有时也叫做多层感知机（Multi-Layer perceptron,MLP）。从DNN按不同层的位置划分，DNN内部的神经网络层可以分为三类，输入层，隐藏层和输出层,如下图示例，一般来说第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层。

RNN：

循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network) 。对循环神经网络的研究始于二十世纪80-90年代，并在二十一世纪初发展为深度学习（deep learning）算法之一，其中双向循环神经网络（Bidirectional RNN, Bi-RNN）和长短期记忆网络（Long Short-Term Memory networks，LSTM）是常见的循环神经网络。