BERT中的CLS和SEP
本帖最后由 Handsome_zhou 于 2022-11-15 17:32 编辑用于放在输入的开头
用于分开两个输入句子，例如某次输入为句子A、B、C，要在输入的开头用，每个句子后面用。则输入为:ABC
CLS
就是classification的意思，可以理解为用于下游的分类任务。
分类任务主要分为两种:
1、单文本分类任务: 对于文本分类任务，BERT模型在文本前插入一个符号，并将该符号对应的输出向量作为整篇文本的语义表示，用于文本分类。
可以理解为: 与文本中已有的其他字/词相比，这个无明显语义信息的符号更"公平"的融合文本中各个字/词的语义信息。
2、语句对分类任务
BERT分类任务讲解比较详细的博客:https://blog.csdn.net/u013596454/article/details/120529965
页:
[1]