Meta 公布革命性可扩展模型架构 Megabyte 如今热捧的生成式 AI 模型，如 GPT-4 等，都是基于谷歌 2017 年提出的 转换器 Transformer 架构。Meta 的研究人员认为该架构存在两大设计缺陷：其一，转换器模型需要关注所有令牌，当需要处理的令牌数以千计时，计算非常密集。其二，采用了串行计算模式，存在扩展性难题。Meta 公司发表论文，提出了一种革命性的可扩展模型架构