相关代码见文末
1.概述
问题背景:
传统Seq2Seq模型的局限性: 早期的机器翻译和文本生成任务常采用基于循环神经网络(RNN)的序列到序列(Seq2Seq)模型,这类模型在处理长序列时容易遇到梯度消失/爆炸问题,导致训练效率低,难以捕捉长期依赖。
RNN网络的问题: RNN及其变种如LSTM和GRU在网络结构上的顺序执行特性限制了其并行计算能力,使得训练速度受限。此外,对于某些复杂语言结构的理解和生成不够高效和准确。
Word2Vec的局限性: 传统的词嵌入方法如Word2Vec虽然能有效学习单词的分布式表示,但它基于上下文独立的假设生成固定向量,无法体现单词在不同语境中的多义性。例如,“干哈那”这样的词语,在不同上下文中可能有完全不同的含义,但Word2Vec会为其分配一个固定的向量,不能灵活适应这些变化。
BERT的解决方案:
<