谷歌在2007年发布Transformer架构的论文时，论文的标题是：Attention Is All You Need。重点说明了这个架构是基于注意力机制的。 一、什么是注意力机制 在深入了解Transformer的架构原理之前，我们首先要了解下，什么是注意力机制。 人类的大脑对于信息的获取也存在注意力机制，下面我举几个简单的例子： 从上面的图片中，我们可能更容易关注，颜色更深的字、字号更大的字