当我们的脑海中产生记忆时，它们开始是大脑不同部分编码的感觉和认知活动的混乱。这是短期记忆。根据神经科学研究，海马体从大脑不同部位的神经元收集激活信息，并将其记录下来，成为可访问的记忆。它还存储将重新激活这些记忆的线索(名称、气味、声音、视觉等)。记忆越是被激活，它就会变得越强大。
现在这就是睡眠发挥作用的地方。根据《你的大脑解释》(我强烈建议您阅读)一书的作者马克·丁曼(Marc Dingman)的说法，“研究发现，在初次体验期间打开的相同神经元在深度睡眠期间会重新激活。这导致神经科学家假设，在睡眠期间，我们的大脑正在努力确保前一天的重要记忆被转移到长期存储中。”
创建了Compressive Transformer，这是一种更适合远程记忆的语言模型。“众所周知，睡眠对记忆至关重要，人们认为睡眠有助于压缩和巩固记忆，从而提高记忆任务的推理能力。在 Compressive Transformer 中，当模型通过一系列输入时，在线收集类似于情景记忆的粒状记忆;随着时间的推移，它们最终会被压缩，”研究人员在一篇博客文章中写道，该文章随附于 Compressive Transformer 的全文。
与 Transformer 的其他变体一样，Compressive Transformer 使用注意机制来选择序列中的相关数据位。但是，AI 模型并没有丢弃旧的记忆，而是删除了不相关的部分，并通过保留显着位并将它们存储在压缩的内存位置来组合其余部分。
根据 DeepMind 的说法，Compressive Transformer 在流行的自然语言 AI 基准测试中展示了最先进的性能。人工智能研究人员写道：“我们还表明，它可以有效地用于语音建模，特别好地处理稀有词，并且可以在强化学习代理中用于解决记忆任务。”
然而，相关的是人工智能提高了长文本建模的性能。“该模型的条件样本可用于编写类似书本的摘录，”DeepMind 的研究人员写道。
博客文章和论文包含 Compressive Transformer 输出的样本，与该领域正在进行的其他工作相比，这非常令人印象深刻。