Keyword [DenseNet]
Huang G, Liu Z, Van Der Maaten L, et al. Densely connected convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 4700-4708.
该篇论文提出一种网络结构DenseNet (Figure 2)，能够在提高性能的同时，大量降低模型的参数及占用内存 (Figure 3)。
DenseNet Block (Figure 1)结构中包含大量skip connection(shortcut)：
- 解决梯度消失问题
- 提高feature reusing和propagation.
- 降低Conv层的filter(kernel)数量，使网络变得更narrow.(由于存在shortcut，在通过网络的时候，不会出现信息丢失的情况。)
DenseNet细节包含以下几个主要部分：
- Transition Layer
- Growth Rate
- Bottleneck Layer
- Compression
1. Transition Layer (图1)
- 连接在两个Dense Block之间，包含：BN- (1x1) Conv- (2x2) Avg Pooling
2. Growth Rate
- denoted by $k$. 即$H$层 (Figure 1)中 (3x3) Conv层的filter数量为$k$.
3. Bottleneck Layer
- 为了降低特征图数量，在H层的头部加上Bottleneck Layer，包含：BN-ReLU-(1x1)Conv.
- 该Conv层的filter数量小于输入特征图数量，从而达到降低特征图数量的目的
4. Compression
- 为了进一步提高模型的紧凑性，可以在Transition Layer中降低特征图数量。即降低其中的 (1x1) Conv层filter数量。
- 假设输入特征图数量为$m$，存在一个hyper-parameter $θ$ (0<$θ$<1) 使得输出特征图数量降低至$θ_m$，则(1x1) Conv层有$θ_m$ filters.