Skip to content

1×1卷积

1×1卷积(Conv 1×1)是卷积神经网络中一种重要的操作,其核心作用可以归纳为以下几个方面:


一、通道维度调整(升维/降维)

1×1卷积通过调整输出通道数,实现对输入特征的升维或降维,从而优化计算效率和模型性能:

  • 降维:减少通道数以降低计算量。例如,在Inception模块中,先用1×1卷积将输入通道数从192降至16,再进行5×5卷积,总参数量从120M降至12.4M,大幅减少计算量1436

  • 升维:增加通道数以增强特征表达能力。例如在ResNet的瓶颈结构中,通过1×1卷积扩展通道数,再压缩恢复,提升非线性能力1736

  • 特点:仅改变通道数,不改变特征图的空间尺寸(宽/高),这与池化操作(改变空间尺寸,不改变通道数)形成互补115


二、跨通道信息交互与融合

1×1卷积本质上是通道间的线性组合,通过加权求和整合不同通道的特征信息:

  • 信息整合:例如输入为192通道的特征图,通过1×1卷积生成16通道的输出,将原始通道的信息融合为更紧凑的高级特征138

  • 跨通道交互:在MobileNet的Depthwise Separable Convolution中,1×1卷积(Pointwise卷积)用于融合不同通道的信息,弥补仅使用逐通道卷积(Depthwise)的信息损失3660


三、增加非线性表达能力

1×1卷积与激活函数(如ReLU)结合,可在不改变特征图尺寸的情况下增加网络的非线性:

  • 深层网络构建:通过堆叠多个1×1卷积层,网络深度增加,学习更复杂的特征145

  • 轻量级非线性变换:相较于大尺寸卷积核,1×1卷积在引入非线性的同时参数量更少,例如在Inception模块中配合其他卷积核使用1729


四、参数高效性与计算优化

1×1卷积通过减少参数数量和计算复杂度,提升模型效率:

  • 参数量对比:假设输入为28×28×192,若直接使用5×5卷积输出32通道,计算量为120M;而先通过1×1卷积降维至16通道,再执行5×5卷积,计算量降至12.4M,效率提升近10倍1436

  • 全连接层的替代:1×1卷积可视为全连接层的空间化实现,但参数更少且保留空间信息,适合处理高维特征2938


五、典型应用场景

1×1卷积在现代网络架构中广泛应用:

  1. Inception系列:通过1×1卷积预降维,减少后续大卷积核(如3×3、5×5)的计算量421

  2. ResNet瓶颈结构:在残差块中使用1×1卷积压缩和扩展通道数,平衡参数量与性能1736

  3. 轻量级网络:MobileNet的Pointwise卷积、ShuffleNet的通道打乱操作均依赖1×1卷积实现高效计算1736

  4. 特征金字塔(FPN):对齐不同层级的通道数,实现多尺度特征融合1738


总结

1×1卷积通过灵活调整通道数、融合跨通道信息、增加非线性,成为现代CNN中不可或缺的组件。其核心优势在于以极低的计算成本优化模型性能,同时适配多种复杂网络结构。在实际应用中,需根据任务需求权衡降维率与非线性的平衡,以达到最优效果。