BERT模型

学习视频：【唐宇迪说】NLP通用框架BERT项目实战_哔哩哔哩_bilibili

前言

BERT 可以说是自然语言处理任务的一套通用解决方案。

需要掌握的知识：

  • word2vec；
  • RNN网络模型；
  • word2vec + RNN 如何进行词向量建模。

学习的重点在于 Transformer 网络架构、BERT 训练方法及其实际应用。

官方提供了预训练模型，甚至可以拿过来直接用。

Transformer

  • 基本组成依旧是传统的机器翻译模型中常见的 Seq2Seq 网络。

  • transformer 抛弃了传统的 CNN 与 RNN，整个网络结构完全是由 Attention 机制组成（Transformer 由且仅由 self-Attenion 和 Feed Forward Neural Network 组成）。

    Feed Forward Neural Network -- 前馈神经网络

  • Self-Attention 机制用来进行并行计算，在输入和输出都相同。

  • 输出的结果是同时为被计算出来的，已经基本取代 RNN 了。