我们给神经网络架构增加了一个维度！
自 ViT 时代到来之后，由一叠 blocks 堆起来构成的基础模型已经成为了广泛遵循的基础模型设计范式，一个神经网络的宏观架构由width宽度（channel 数）和 depth 深度（block 数）来决定。有没有想过，一个神经网络未必是一叠 blocks 组成的？可能是 2 叠，4 叠，或者…16 叠？自 ViT 时代到来之后，由一叠 blocks 堆起来构成的基础模
阅读背景：
ICLR 2023 | RevCol：可逆的多 column 网络，大模型架构设计新范式
来源：互联网
分享到：
