1 广义的监督学习
1.1 全监督学习（Supervised Learning）
定义
- 模型在标注数据（输入-输出对）上进行训练，目标是学习从输入到输出的映射关系。
- 训练数据包含明确的标签（即每个输入数据都有一个对应的正确输出）。
特点
- 数据需求：需要大量标注数据。
- 目标：学习输入和输出之间的精确映射。
- 应用场景：分类、回归等任务。
示例应用
- 图像分类：给定标注好的图像（如猫、狗），模型学习分类。
- 语音识别：给定语音和对应的文本，模型学习将语音转换为文本。
- 机器翻译：给定源语言和目标语言的句子对，模型学习翻译。
1.2 半监督学习（Semi-supervised Learning）
定义
- 结合少量标注数据和大量未标注数据进行训练。
- 利用未标注数据来增强模型的学习效果。
特点
- 数据需求：少量标注数据 + 大量未标注数据。
- 目标：通过未标注数据提升模型的泛化能力。
- 应用场景：标注成本高但未标注数据丰富的领域。
示例应用
- 图像分类：使用少量标注图像和大量未标注图像训练分类器。
- 文本分类：使用少量标注文本和大量未标注文本训练文本分类模型。
- 医疗影像分析：使用少量标注的医学影像和大量未标注影像训练诊断模型。
1.3 无监督学习（Unsupervised Learning）
定义
- 模型在未标注数据上进行训练，目标是发现数据中的内在结构或模式。
- 没有明确的标签，模型需要自行学习数据的特征。
特点
- 数据需求：完全未标注的数据。
- 目标：发现数据中的模式或结构。
- 应用场景：聚类、降维、生成等任务。
示例应用
- 聚类：将未标注的用户数据分为不同的群体（如客户细分）。
- 降维：使用 PCA 或 t-SNE 将高维数据降维到二维或三维。
- 生成模型：使用 GAN 生成新的图像或文本。
1.4 弱监督学习（Weakly Supervised Learning）
定义
- 模型在弱标签（不精确或不完全的标签）上进行训练。
- 弱标签可以是噪声标签、部分标签或多实例标签。
特点
- 数据需求：弱标签数据（比全监督学习更少的标注成本）。
- 目标：通过弱标签学习到精确的模型。
- 应用场景：标注成本高或标注不精确的领域。
示例应用
- 图像分类：使用图像级别的标签（如“有猫”）代替像素级别的标签。
- 文本分类：使用关键词或短语作为弱标签进行分类。
- 医疗诊断：使用医生的初步诊断作为弱标签训练模型。
1.5 自监督学习（Self-supervised Learning）
定义
- 模型通过自动生成标签（无需人工标注）进行训练。
- 标签通常是从数据本身生成的（如预测下一个词、填充缺失值）。
特点
- 数据需求：大量未标注数据。
- 目标：通过自动生成标签学习数据的表示。
- 应用场景：预训练模型、特征学习等。
示例应用
- 语言模型：通过预测下一个词或掩码词进行预训练（如 BERT、GPT）。
- 图像处理：通过旋转图像或填充缺失部分进行训练（如 SimCLR）。
- 视频分析：通过预测视频帧的顺序进行训练。
| 类别 | 标签类型 | 数据需求 | 目标 | 示例应用 |
|---|---|---|---|---|
| 全监督学习 | 精确标签 | 大量标注数据 | 学习精确的输入-输出映射 | 图像分类、语音识别、机器翻译 |
| 半监督学习 | 少量精确标签 + 大量未标注数据 | 少量标注 + 大量未标注 | 利用未标注数据提升模型效果 | 图像分类、文本分类、医疗影像分析 |
| 无监督学习 | 无标签 | 完全未标注数据 | 发现数据中的模式或结构 | 聚类、降维、生成模型 |
| 弱监督学习 | 弱标签（不精确） | 弱标签数据 | 通过弱标签学习精确模型 | 图像分类、文本分类、医疗诊断 |
| 自监督学习 | 自动生成标签 | 大量未标注数据 | 通过自动生成标签学习数据表示 | 语言模型、图像处理、视频分析 |
1 N-shot
1.1 Zero-shot 学习
定义
- 模型在没有任何标注数据的情况下，能够处理从未见过的任务。
- 依赖预训练阶段学到的通用知识，直接推理新任务。
特点
- 无需标注数据：不需要为新任务准备任何标注数据。
- 依赖预训练知识：模型通过预训练学习到通用的表示或知识。
- 动态适应新任务：只需提供任务的描述（如文本提示），模型即可推理。
示例应用
- CLIP：通过文本描述识别图像内容，无需特定任务的标注数据。
- GPT：通过文本提示生成从未见过的任务的答案。
- 跨领域迁移：在没有任何标注数据的情况下，模型能够处理新领域的任务。
1.2 One-shot 学习
定义
- 模型在只有一个标注样本的情况下，能够处理新任务。
- 通过一个示例样本，模型可以快速学习并泛化到新任务。
特点
- 仅需一个标注样本：只需要一个标注数据即可完成任务。
- 快速适应：模型能够从单个样本中提取关键特征并泛化。
- 依赖元学习：通常需要元学习（Meta-learning）方法来实现。
示例应用
- 人脸识别：通过一张照片识别新的人脸。
- 手写字符识别：通过一个示例字符识别新的字符。
- 医疗诊断：通过一个病例样本诊断新的病例。
1.3 Few-shot 学习
定义
- 模型在少量标注样本（通常是几个到几十个）的情况下，能够处理新任务。
- 通过少量样本，模型可以快速学习并泛化到新任务。
特点
- 少量标注样本：需要少量（通常是 5-20 个）标注数据。
- 快速学习：模型能够从少量样本中提取关键特征并泛化。
- 依赖元学习：通常需要元学习方法来实现。
示例应用
- 图像分类：通过少量标注样本分类新的类别。
- 文本分类：通过少量标注样本分类新的文本类别。
- 语音识别：通过少量语音样本识别新的说话者。
| 类别 | 标注样本数量 | 特点 | 示例应用 |
|---|---|---|---|
| Zero-shot | 0（无需标注数据） | 依赖预训练知识，动态适应新任务 | CLIP、GPT、跨领域迁移 |
| One-shot | 1（仅需一个样本） | 快速适应，依赖元学习 | 人脸识别、手写字符识别、医疗诊断 |
| Few-shot | 少量（5-20 个样本） | 从少量样本中快速学习并泛化 | 图像分类、文本分类、语音识别 |
3 广义的监督学习 vs. N-shot 学习
广义的监督学习
- 定义：模型在某种形式的监督信号（可能是标注数据、弱标签、自动生成的标签等）上进行训练，目标是学习从输入到输出的映射关系。
N-shot 学习
- 定义：模型在极少量的标注数据（甚至没有标注数据）上进行训练或推理，目标是快速适应新任务。
| 维度 | 广义监督学习 | N-shot 学习 |
|---|---|---|
| 监督信号类型 | 精确标注、弱标签、自动生成标签等 | 少量标注数据（甚至没有标注数据） |
| 数据需求 | 需要一定量的标注数据（可能不需要大量） | 仅需少量或没有标注数据 |
| 学习目标 | 学习输入-输出映射，目标是精确性 | 快速适应新任务，目标是泛化能力 |
| 训练方式 | 在标注数据上进行训练 | 在少量样本上进行训练或推理 |
| 应用场景 | 分类、回归、生成等任务 | 小样本分类、跨领域迁移、快速适应新任务 |
广义监督学习 需要一定量的标注数据（可能是精确标注、弱标签或自动生成标签），目标是学习精确的映射关系。
N-shot 学习 仅需少量标注数据（甚至没有标注数据），目标是快速适应新任务，泛化能力比精确性更重要。