BERT中的CLS和SEP

Handsome_zhou

[CLS]用于放在输入的开头
[SEP]用于分开两个输入句子，例如某次输入为句子A、B、C，要在输入的开头用[CLS]，每个句子后面用[SEP]。则输入为:[CLS]A[SEP]B[SEP]C[SEP]


CLS

[CLS]就是classification的意思，可以理解为用于下游的分类任务。

分类任务主要分为两种:
       
        1、单文本分类任务: 对于文本分类任务，BERT模型在文本前插入一个[CLS]符号，并将该符号对应的输出向量作为整篇文本的语义表示，用于文本分类。
                                可以理解为: 与文本中已有的其他字/词相比，这个无明显语义信息的符号更"公平"的融合文本中各个字/词的语义信息。






        2、语句对分类任务

BERT分类任务讲解比较详细的博客:  https://blog.csdn.net/u013596454/article/details/120529965