我们来从一个非常简单的视角来看一下 BERT 是如何变得如此聪明的？
谷歌利用维基百科文本和大量资金来获得能够驱动这些大型模型的计算能力（他们将其组装在 V3 pod 中的 TPU）。然后，他们使用无监督神经网络从维基百科的所有文本中进行训练，以更好地理解语言和上下文。
它的学习方式很有趣，它能获取任意长度的文本（这很好，因为我们说话的方式非常随意），并将其转录为向量。
向量是一串固定的数字。这有助于语言可以被机器翻译。
这发生在我们无法想象的非常狂野的 n 维空间中。将相似的 巴哈马 手机号码数据 语境语言放入相同的区域。
为了变得越来越智能，BERT 与 Word2vec 类似，使用了一种称为掩蔽的策略。
当句子中的一个随机单词被隐藏时就会发生掩蔽。
BERT 是一个双向模型，它查看隐藏词前后的单词来帮助预测该单词是什么。
它一遍又一遍地重复这个过程，直到它能够有效地预测隐藏的单词。然后它可以进一步微调，以执行 11 个最常见的自然语言处理任务。真的，真的非常令人兴奋，在这个领域很有趣。
什么是 BERT？
BERT 是一个预先训练的无监督自然语言处理模型。 经过微调后，BERT 可以胜过 11 个最常见的 NLP 任务，本质上成为自然语言处理和理解的火箭助推器。