Transformer模型架构
深度学习模型
条目
Transformer模型架构，是一种基于自注意力机制（Self-Attention）的深度学习模型，[1]由Google团队在2017年的论文《Attention Is All You Need》中首次提出。[2]
历史
2017年，Transformer模型架构由谷歌大脑团队Ashish Vaswani和多伦多大学的一个团队发表的一篇名为"Attention is All You Need"的论文中提出的模型。这篇论文的发布被认为是该领域的分水岭，因为Transformer模型架构现在广泛用于训练LLM等应用。[2]
产品特点
Transformer模型架构使用Self-Attention结构取代了在NLP任务中常用的RNN网络结构。相比RNN网络结构，其最大的优点是可以并行计算。Transformer模型架构是一个神经网络，其通过跟踪序列数据（如本句中的单词）中的关系来学习上下文，从而学习含义。[3]