Abstract
- 无监督学习典范 GPT可以通过zero/few-shot learning解决大部分问题,因为预训练GPT的时候已经在大量的无标签数据(45TB的数据岂是我等鼠人能够想象的??😂)中学习到了语言的特点。
- 有监督学习也就是我们常见的fine-tuning学习,可以通过大量有标签的数据中学习,并解决大部分问题且比GPT表现的好。常见的就是微调各种BERT啦,比如我们提出的的SICKNet就是用有监督学习🤞。
- 作者提出一种半监督学习,叫做pattern-exploiting training (PET)🤔
- 目的是将手中少量 [有标签的输入样本] 转换为一种完形填空(cloze-style)的类型文本帮助语言模型理解任务
- 然后让PVP模型(后面会介绍这个工具人)对大量 [无标签的输入样本] 进行标签预测,称为软标签
- 让分类模型(真正的天选模型)对带有 [软标签的输入样本] 进行有监督学习训练