五、 Agent 的学习机制：从模仿到超越

5.1 强化学习 (Reinforcement Learning, RL)：在试错中成长

5.1.1 基本原理：Agent、环境与奖励

• 状态 (State)： Agent 所处的环境状态。 例如，在围棋游戏中，状态就是当前的棋盘局面；在机器人导航中，状态就是机器人的位置和周围环境的信息。

• 行动 (Action)： Agent 可以采取的行动。 例如，在围棋游戏中，行动就是下一步棋的落子位置；在机器人导航中，行动就是机器人的移动方向和速度。

• 奖励 (Reward)： 环境对 Agent 行动的反馈。 奖励可以是正向的（鼓励），也可以是负向的（惩罚）。 例如，在围棋游戏中，赢得比赛可以获得正向奖励，输掉比赛则获得负向奖励；在机器人导航中，到达目标位置可以获得正向奖励，撞到障碍物则获得负向奖励。

• 策略 (Policy)： Agent 在每个状态下采取行动的概率分布。 策略是 Agent 的行为准则，决定了 Agent 在不同状态下会采取什么样的行动。

• 价值函数 (Value Function)： 衡量一个状态或状态-行动对的“好坏”程度，通常指长期累积奖励的期望。 价值函数可以指导 Agent 选择最佳行动。

• Q 函数 (Q-function)： 衡量在某个状态下采取某个行动的“好坏”程度。 Q 函数是价值函数的一种特殊形式。

• 探索 (Exploration)： Agent 尝试新的行动，以发现更好的策略。

• 利用 (Exploitation)： Agent 利用已知的知识，采取当前认为最优的行动。

• 折扣因子 (Discount Factor)： 用于平衡当前奖励和未来奖励的重要性。 折扣因子越大，Agent 越重视未来奖励。

+--------+     +----------+     +--------+     +----------+
| 环境   | --> | 状态(S)  | --> |  Agent | --> | 行动(A)  |
+--------+     +----------+     +--------+     +----------+
    ^                                               |
    |                                               |
    |                                               V
+--------+     +----------+
| 奖励(R)  | <-- | 环境   |
+--------+     +----------+

5.1.2 常用算法：从 Q-learning 到 SAC

• Q-learning：
• 原理： 一种基于价值的 RL 算法，学习 Q 函数 (即，在特定状态下采取特定行动的预期回报)。 Q-learning 是一种 off-policy 算法，它可以使用其他 Agent 的经验来学习。
• 算法步骤：
1. 初始化 Q 表 (Q-table) 或 Q 网络 (Q-network)。
2. 循环执行以下步骤：
• 根据当前状态和 Q 值选择行动 (通常使用 ε-greedy 策略，即以一定概率随机选择行动，以保证探索)。
• 执行行动，观察环境的反馈 (下一个状态和奖励)。
• 更新 Q 值：Q(s, a) ← Q(s, a) + α[r + γ * max_a' Q(s', a') - Q(s, a)]
• s: 当前状态
• a: 当前行动
• r: 奖励
• s': 下一个状态
• a': 下一个状态下可以采取的行动
• α: 学习率 (控制 Q 值更新的幅度)
• γ: 折扣因子
• 优点： 简单、易于实现。
• 缺点： 难以处理连续状态和动作空间，容易受到维度灾难的影响 (当状态空间和行动空间很大时，Q 表会变得非常大，难以存储和更新)。

• SARSA (State-Action-Reward-State-Action)：
• 原理： 一种基于策略的 RL 算法，学习策略。 SARSA 是一种 on-policy 算法，它只能使用自身 Agent 的经验来学习。
• 算法步骤： 与 Q-learning 类似，但更新 Q 值时使用下一个状态的实际行动，而不是最大 Q 值对应的行动。
• 公式： Q(s, a) ← Q(s, a) + α[r + γ * Q(s', a') - Q(s, a)] (注意，这里的 a' 是下一个状态下实际采取的行动)
• 优点： 在线学习，能够处理非确定性环境 (即，相同的状态和行动，可能导致不同的结果)。
• 缺点： 可能收敛到次优策略 (因为 SARSA 学习的是 on-policy 策略，而 on-policy 策略可能不是最优策略)。

• DQN (Deep Q-Network)：
• 原理： 使用深度神经网络来近似 Q 函数，解决 Q-learning 在高维状态空间下的问题。
• 优点： 能够处理高维状态空间，例如图像输入。
• 关键技术：
• 经验回放 (Experience Replay)： 将 Agent 的经验 (状态、行动、奖励、下一个状态) 存储在一个 replay buffer 中，然后在训练时从中随机采样，打破数据之间的相关性，提高学习效率。
• 目标网络 (Target Network)： 使用一个单独的目标网络来计算 Q 值的目标值，减少 Q 值估计的偏差，提高训练的稳定性。
• 变体：
• Double DQN： 使用两个 Q 网络，减少 Q 值过估计的问题。
• Dueling DQN： 将 Q 网络分解为价值网络和优势网络，分别估计状态的价值和行动的优势。
• Prioritized Experience Replay： 根据经验的重要性 (例如，TD error 的大小) 来采样经验，提高学习效率。

• A3C (Asynchronous Advantage Actor-Critic)：
• 原理： 一种 actor-critic 算法，结合了策略梯度方法和价值函数方法。
• Actor： 负责生成行动策略。
• Critic： 负责评估行动策略的好坏 (价值函数)。
• Advantage： 衡量一个行动相对于平均水平的好坏程度。
• 异步更新： 使用多个并行的 actor 来探索环境，并异步地更新 critic 网络和 actor 网络。
• 优点： 能够加速训练过程，提高样本效率。

• PPO (Proximal Policy Optimization)：
• 原理： 一种策略梯度算法，通过限制策略更新的幅度来提高训练的稳定性。
• 优点： 实现简单，性能稳定，样本效率较高。

• SAC (Soft Actor-Critic)：
• 原理： 一种最大熵强化学习算法，鼓励探索。 在最大化累积奖励的同时，最大化策略的熵 (即使策略更随机)。
• 优点： 能够学习到更鲁棒的策略，对超参数不敏感。

• TD3 (Twin Delayed Deep Deterministic Policy Gradients)
• 双Q网络

5.1.3 强化学习在 Agent 中的应用

• 训练 Agent 的导航能力： 例如，训练机器人如何在迷宫中找到出口，训练无人机如何在复杂的环境中飞行，训练自动驾驶汽车如何在道路上行驶。

• 训练 Agent 的操作能力： 例如，训练机器人抓取物体、组装零件、操作工具等。

• 训练 Agent 的决策能力： 例如，训练 Agent 在游戏中做出最佳决策 (例如，AlphaGo, AlphaStar)，训练 Agent 在金融市场中进行交易，训练 Agent 进行资源调度。

• 训练 Agent 的对话能力： 例如，训练聊天机器人与人类进行自然、流畅的对话。

5.1.4 强化学习的挑战

• 奖励设计： 如何设计合适的奖励函数，引导 Agent 学习到期望的行为，是一个难题。 奖励函数的设计需要领域知识和经验，而且往往需要反复试验和调整。 如果奖励函数设计不当，Agent 可能会学习到一些意想不到的行为，甚至会“钻空子”。
• 稀疏奖励问题： 在很多任务中，Agent 只有在完成任务后才能获得奖励，而在任务过程中没有任何奖励信号。 这使得 Agent 很难学习到有效的策略。

• 探索与利用： Agent 需要在探索新行动和利用已知知识之间进行权衡。 探索不足可能导致 Agent 无法找到最优策略，探索过度则可能导致 Agent 的学习效率低下。

• 样本效率： 强化学习通常需要大量的训练数据（与环境的交互次数），才能学习到有效的策略。 这在真实环境中可能非常耗时和昂贵。

• 泛化能力： Agent 在训练环境中学习到的策略，可能无法很好地泛化到新的环境中。

• 安全性： 在真实环境中进行强化学习训练，可能会存在安全风险，例如机器人可能会损坏自身或周围环境。

• 可解释性： 强化学习 Agent 的决策过程通常难以解释，这使得人们难以理解 Agent 为什么会做出某个决策。

5.1.5 与 LLM/VLM 的结合

• 使用 LLM/VLM 设计奖励函数： LLM/VLM 可以根据任务描述和环境状态，自动生成奖励函数，减少人工设计奖励函数的工作量。 例如，可以使用 LLM 来判断 Agent 的行动是否符合任务目标，并根据判断结果给予奖励。

• 使用 LLM/VLM 进行任务规划： LLM/VLM 可以将复杂任务分解为多个子任务，并生成相应的行动计划，提高 Agent 的规划能力。 例如，可以使用 LLM 来生成一个高级别的任务计划，然后使用强化学习来学习执行每个子任务的低级别策略。

• 使用 LLM/VLM 生成数据，辅助 RL 训练： LLM/VLM 可以生成模拟数据，用于预训练或辅助训练 RL Agent，提高样本效率。 例如，可以使用 VLM 生成图像数据，用于训练机器人的视觉感知能力；可以使用 LLM 生成文本数据，用于训练对话 Agent 的语言理解能力。

• LLM 作为 Policy： 直接将 LLM 作为策略网络。 LLM 可以根据当前状态和上下文信息，直接生成行动指令。 这种方法可以利用 LLM 强大的语言理解和生成能力，但需要解决 LLM 的幻觉问题和推理能力有限的问题。

5.1.6 图示

5.2 模仿学习 (Imitation Learning, IL)：站在巨人的肩膀上

5.2.1 基本原理：向专家学习

5.2.2 主要方法：行为克隆、逆强化学习、生成对抗模仿学习

• 行为克隆 (Behavioral Cloning)：
• 原理： 直接模仿专家的行动，使用监督学习来训练策略。 将专家数据视为标注数据，状态作为输入，行动作为输出，训练一个模型来预测在给定状态下应该采取的行动。
• 优点： 简单、易于实现，数据利用率高。
• 缺点： 可能受到数据集偏差的影响 (专家数据可能只覆盖了状态空间的一小部分)，泛化能力较差 (复合误差 compounding error)，难以处理未见过的状态。

• 逆强化学习 (Inverse Reinforcement Learning, IRL)：
• 原理： 从专家的行为中推断出奖励函数，然后使用强化学习来学习策略。 假设专家的行为是最优的，那么可以反推出什么样的奖励函数能够使专家的行为是最优的。
• 优点： 能够学习到比专家更优的策略 (如果环境模型已知)，能够处理未见过的状态。
• 缺点： 计算复杂度高，需要大量的专家数据，奖励函数的设计和学习比较困难。

• 生成对抗模仿学习 (Generative Adversarial Imitation Learning, GAIL)：
• 原理： 使用生成对抗网络 (GAN) 来学习模仿专家行为。 生成器负责生成 Agent 的行动，判别器负责区分 Agent 的行动和专家的行动。
• 优点： 能够学习到更复杂的策略，对噪声数据更鲁棒，无需显式地定义奖励函数。
• 缺点： 训练不稳定，需要仔细调整超参数。

5.2.3 模仿学习在 Agent 中的应用

• 学习人类专家的技能： 例如，训练机器人模仿人类的动作，训练游戏 AI 模仿人类玩家的操作，训练自动驾驶汽车模仿人类司机的驾驶行为。

• 快速启动 Agent 的学习过程： 使用模仿学习可以避免 Agent 从零开始学习，提高学习效率。

• 在难以设计奖励函数的场景下： 有些任务很难设计合适的奖励函数，例如，让机器人模仿人类的走路姿态，此时可以使用模仿学习。

5.2.4 模仿学习的挑战

• 专家数据获取： 获取高质量的、大量的专家数据通常比较困难，且成本较高。

• 分布偏移 (Distribution Shift)： 训练数据 (专家数据) 和测试数据 (Agent 实际运行的环境) 的分布可能不同，导致 Agent 的性能下降。

• 泛化能力： Agent 可能无法泛化到未见过的状态或任务。

• 次优专家： 如果专家不是最优的，Agent 可能会学习到次优的策略。

5.2.5 与 LLM/VLM 的结合

• 使用 LLM/VLM 来理解专家数据： LLM/VLM 可以帮助 Agent 更好地理解专家数据，例如，理解专家操作的意图，分析专家行为的语义含义。 这可以提高模仿学习的效果。

• 使用 LLM/VLM 来生成专家数据： LLM/VLM 可以生成模拟的专家数据，用于训练 Agent，从而减少对真实专家数据的依赖。 例如，可以使用 LLM 生成任务描述，然后使用 VLM 生成图像序列，模拟专家操作。

• 使用 LLM/VLM 来进行数据增强： LLM/VLM 可以对专家数据进行修改或扩展，生成更多样化的数据，提高 Agent 的泛化能力。

5.2.6 图示

5.3 迁移学习 (Transfer Learning): 举一反三

5.3.1 基本原理

5.3.2 方法

• 基于特征的迁移学习 (Feature-based Transfer Learning)： 将预训练模型的特征提取器迁移到新任务，然后训练一个新的分类器或回归器。

• 基于实例的迁移学习 (Instance-based Transfer Learning)： 从源域中选择一些相关的实例，并将其迁移到目标域。

• 基于参数的迁移学习 (Parameter-based Transfer Learning)： 将预训练模型的参数迁移到新任务，然后进行微调。

• 基于关系的迁移学习 (Relation-based Transfer Learning)： 将源域和目标域之间的关系迁移到新任务。

5.3.3 在Agent中的应用：

• 将在模拟环境中训练好的 Agent 迁移到真实环境中。

• 将在一个任务中训练好的 Agent 迁移到另一个相关的任务中。

• 将在一个领域中训练好的 Agent 迁移到另一个相关的领域中。

• 例如，将在文献检索任务上训练过的 Agent，可以将其学到的知识迁移到专利检索任务上。

5.3.4 挑战：

• 领域差异 (Domain Shift)： 源域和目标域之间可能存在差异，导致迁移效果下降。

• 负迁移 (Negative Transfer)： 源域的知识可能对目标域的学习产生负面影响。

• 任务相关性： 如何选择合适的源域和目标域，以最大化迁移效果。

5.3.5 与LLM/VLM结合：

5.4 上下文学习 (In-context Learning)：从示例中学习

5.4.1 基本原理：从示例中学习

5.4.2 与少样本学习的关系

• 少样本学习： 通常需要对模型进行微调 (fine-tuning) 或元学习 (meta-learning)。

• 上下文学习： 不需要修改模型参数，直接在推理阶段利用上下文信息。

5.4.3 在 Agent 中的应用：快速适应新任务

• 快速适应新任务： Agent 能够快速适应新任务，无需重新训练或微调模型。 这使得 Agent 能够应对各种不同的任务，而无需为每个任务单独训练一个模型。

• 个性化： 通过提供用户的特定需求或偏好作为上下文，可以实现 Agent 的个性化。

• 交互式学习： Agent 可以在与用户的交互过程中，不断学习新的知识和技能。

5.4.4 挑战：如何设计有效的上下文

• 示例选择： 选择的示例应该具有代表性，能够覆盖任务的各种情况。

• 提示设计： 提示应该清晰、明确，能够引导 Agent 理解任务并生成期望的输出。

• 上下文长度限制： LLM 能够处理的上下文长度有限，如何处理长序列或复杂任务是一个挑战。

• 鲁棒性： Agent 需要能够处理不同的示例或提示，并保持稳定的性能。

• 可解释性： 如何理解 Agent 是如何根据上下文信息进行学习和决策的，是一个难题。

5.4.5 与 LLM/VLM 的结合

• LLM 的上下文学习： LLM 具有强大的上下文学习能力，可以通过提供少量示例或提示来执行各种任务。

• VLM 的上下文学习： VLM 可以通过提供图像和文本示例，来学习执行视觉问答、图像描述等任务。

5.4.6 举例

• 通过提供几个“问题-答案”示例，让 Agent 学会回答特定类型的问题。

• 通过提供一段任务描述和几个操作示例，让 Agent 学会执行新的操作任务。

• 通过提供用户的偏好设置，让 Agent 生成符合用户偏好的内容。

5.5 元学习 (Meta-learning)：学会学习

5.5.1 基本原理：学习学习策略

5.5.2 方法：MAML、RNN 等

• 模型无关元学习 (Model-Agnostic Meta-Learning, MAML)： 学习一个好的模型初始化参数，使其能够在少量样本上通过梯度下降快速适应新任务。

• 循环神经网络 (Recurrent Neural Networks, RNN)： 使用 RNN 来处理任务序列，并学习一个通用的学习策略。 RNN 可以将之前的任务信息编码到其隐藏状态中，从而影响后续任务的学习。

• 基于梯度的元学习 (Gradient-based Meta-learning)： 使用梯度下降来更新模型的元参数 (例如，学习率、初始化参数等)。

5.5.3 在 Agent 中的应用：快速适应新环境

• 使 Agent 能够快速适应新的研究领域或任务。

• 使 Agent 能够在少量示例的情况下学习新的技能。

• 使 Agent 能够根据不同的环境或用户进行个性化调整。

5.5.4 挑战：元训练数据、算法设计、计算成本

• 元训练数据的获取： 如何获取大量的、多样化的任务，用于元训练。

• 元学习算法的设计： 如何设计有效的元学习算法，使其能够快速适应新任务。

• 计算成本： 元学习通常需要大量的计算资源。

• 过拟合问题：

5.5.5 与 LLM/VLM 的结合

• LLM 的内在元学习能力：
• 上下文学习 (In-context Learning)： LLM 的上下文学习能力可以被视为一种隐式的元学习。 LLM 能够在不修改模型参数的情况下，通过少量示例或提示，快速适应新任务。 这表明 LLM 已经具备了一定的“学习如何学习”的能力。
• 指令微调 (Instruction Tuning)： 通过在大量不同类型的任务上进行指令微调，可以进一步增强 LLM 的元学习能力。 指令微调后的 LLM 能够更好地理解和执行自然语言指令，从而更快地适应新任务。
• 思维链 (Chain-of-Thought, CoT)： 通过提示 LLM 生成中间推理步骤，可以提高 LLM 在复杂推理任务上的性能。 这也可以被视为一种元学习，因为 LLM 学习到了如何进行推理。

• LLM/VLM 作为元学习的组件：
• LLM 作为元学习器 (Meta-learner)： 可以使用 LLM 来学习如何更新 Agent 的策略或模型参数。 例如，可以使用 LLM 来生成优化器的更新规则，或者生成新的任务描述。
• LLM/VLM 作为基础模型 (Base Model)： 可以使用 LLM/VLM 作为元学习的基础模型，然后在少量任务上进行元训练，使其能够快速适应新任务。
• LLM/VLM 用于生成元训练数据： 可以使用 LLM/VLM 来生成多样化的任务描述和示例，用于元训练 Agent。
• LLM/VLM 用于评估元学习效果： 可以使用 LLM/VLM 来评估元学习 Agent 在新任务上的表现。

• 结合方式举例：
• MAMLL (Model-Agnostic Meta-Learning for LLMs)： 将 MAML 算法应用于 LLM，使其能够在少量样本上快速适应新任务。
• Meta-Reinforcement Learning with LLMs： 使用 LLM 作为元学习器，学习如何进行强化学习。
• Prompting as Meta-Learning： 将 prompt 设计视为元学习过程，通过学习如何设计有效的 prompt，来引导 LLM 执行不同的任务。

• 优势：
• 利用 LLM/VLM 强大的语言理解和生成能力，提高元学习的效率和效果。
• 可以将元学习应用于更广泛的任务和领域。
• 可以实现更自然的、更符合人类学习方式的元学习。

• 挑战：
• LLM/VLM 的计算成本较高。
• LLM/VLM 的可解释性较差。
• 如何设计有效的元学习算法，以充分利用 LLM/VLM 的能力。
• 如何评估元学习的效果。

5.6 持续学习 (Continual Learning)：终身学习

5.6.1 基本原理：对抗遗忘

5.6.2 方法：正则化、重放、架构

• 正则化方法 (Regularization Methods)： 通过在损失函数中添加正则化项，来限制模型参数的变化，防止遗忘。
• 弹性权重合并 (Elastic Weight Consolidation, EWC)： 根据参数对之前任务的重要性来限制参数的变化。
• 突触智能 (Synaptic Intelligence, SI)： 类似于 EWC，但使用更复杂的权重重要性估计方法。

• 重放方法 (Replay Methods)： 将之前任务的样本存储起来，并在学习新任务时重新播放这些样本，以防止遗忘。
• 经验重放 (Experience Replay)： 随机选择之前任务的样本进行重放。
• 生成式重放 (Generative Replay)： 使用生成模型生成之前任务的样本进行重放。

• 架构方法 (Architecture Methods)： 通过修改模型的架构来适应新任务，同时保留之前任务的知识。
• 渐进式神经网络 (Progressive Neural Networks)： 为每个任务添加新的网络层，同时保持之前任务的网络层不变。
• 动态可扩展网络 (Dynamically Expandable Networks)： 根据任务的需要动态地增加网络的容量。

• 知识蒸馏：

5.6.3 在 Agent 中的应用：适应变化的世界

• 使 Agent 能够在不断变化的研究环境中持续学习和适应。

• 使 Agent 能够不断学习新的研究领域和研究方法。

• 使 Agent 能够长期保持有效性。

5.6.4 挑战：灾难性遗忘、任务漂移、可扩展性

• 灾难性遗忘 (Catastrophic Forgetting)： 学习新任务时，可能会忘记之前任务的知识。

• 任务漂移 (Task Drift)： 任务的分布可能会随着时间发生变化。

• 可扩展性： 如何扩展持续学习方法到大规模任务和模型。

5.6.5 与 LLM/VLM 的结合

• 挑战：
• 灾难性遗忘： LLM/VLM 的灾难性遗忘问题可能更严重，因为它们通常在大量数据上进行预训练，然后在特定任务上进行微调。 当学习新任务时，很容易覆盖掉预训练阶段学到的知识。
• 计算成本： 持续学习 LLM/VLM 需要大量的计算资源。
• 数据存储： 持续学习需要存储大量的历史数据或模型，这会带来存储和管理上的挑战。

• 机遇：
• LLM/VLM 的强大表示能力： LLM/VLM 具有强大的表示能力，可以学习到更通用、更鲁棒的特征表示，这有助于缓解灾难性遗忘问题。
• LLM/VLM 的上下文学习能力： LLM/VLM 具有上下文学习能力，可以通过少量示例或提示来快速适应新任务，这为持续学习提供了新的思路。
• 知识蒸馏： 可以利用 LLM/VLM 的知识蒸馏能力，将旧模型的知识迁移到新模型，防止遗忘。

• 方法：
• 基于正则化的方法：
• 将 EWC、SI 等正则化方法应用于 LLM/VLM，限制模型参数的变化。
• 针对 LLM/VLM 的特点，设计更有效的正则化方法。
• 基于重放的方法：
• 存储少量旧任务的数据，并在学习新任务时重放这些数据。
• 使用 LLM/VLM 生成旧任务的数据，进行重放。
• 设计更有效的重放策略，例如，选择更有代表性的样本进行重放。
• 基于架构的方法：
• 为每个任务添加新的网络层或模块，同时保持 LLM/VLM 的主体结构不变。
• 使用 LLM/VLM 来生成新的网络结构。
• 基于提示的方法：
• 为每个任务学习一个特定的提示 (prompt)，并在学习新任务时使用旧任务的提示来防止遗忘。
• 使用 LLM/VLM 来生成任务提示。
• 知识蒸馏：
• 将旧模型作为老师模型，将新模型作为学生模型。

• 研究方向：
• 开发更有效的 LLM/VLM 持续学习算法。
• 研究如何将持续学习与其他学习机制（例如元学习、强化学习）相结合。
• 探索 LLM/VLM 在持续学习中的作用机制。
• 构建 LLM/VLM 持续学习的基准测试。

5.7 多任务学习 (Multi-task Learning)：一石多鸟

5.7.1 基本原理：共享知识

5.7.2 方法：硬共享、软共享、任务关系建模

• 硬参数共享 (Hard Parameter Sharing)： 不同的任务共享一部分模型参数。 这是最常用的多任务学习方法。

• 软参数共享 (Soft Parameter Sharing)： 不同的任务使用不同的模型参数，但通过正则化等方式鼓励参数之间的相似性。

• 任务关系建模 (Task Relationship Modeling)： 显式地建模任务之间的关系，例如，使用图神经网络。

5.7.3 在 Agent 中的应用：多面手

• 使 Agent 能够同时处理多个研究任务。

• 提高 Agent 在不同任务上的泛化能力。

• 例如，一个 Agent 可以同时学习文献检索、信息抽取、报告生成等多个任务。

5.7.4 挑战：任务冲突、任务权重

• 任务冲突 (Task Interference)： 不同的任务之间可能存在冲突，导致性能下降。

• 任务权重： 如何确定不同任务的权重。

• 负迁移。

5.7.5 与 LLM/VLM 的结合

5.8 自监督学习 (Self-supervised Learning)：无师自通

5.8.1 基本原理：自己生成标签

5.8.2 方法：对比学习、掩码语言模型、自编码器

• 对比学习 (Contrastive Learning)：
• 原理： 将相似的样本拉近，将不相似的样本推远。 通过学习样本之间的相似性和差异性，来学习到有效的特征表示。
• 方法：
• 构建正样本对 (相似的样本) 和负样本对 (不相似的样本)。
• 训练模型，使正样本对的特征表示尽可能接近，负样本对的特征表示尽可能远离。
• 常用的损失函数包括：InfoNCE loss, triplet loss 等。
• 示例：
• SimCLR, MoCo, CLIP (图像-文本对比学习)。

• 掩码语言模型 (Masked Language Modeling, MLM)：
• 原理： 遮蔽文本中的一部分，让模型预测被遮蔽的内容。 这是 LLM 预训练中常用的方法。
• 方法：
• 随机遮蔽输入文本中的一部分 token (例如，15% 的 token)。
• 使用 Transformer 模型来预测被遮蔽的 token。
• 使用交叉熵损失函数来训练模型。
• 示例：
• BERT, RoBERTa, ALBERT。

• 自编码器 (Autoencoder)：
• 原理： 将输入编码为低维表示 (latent representation)，然后解码重构输入。 通过强制模型学习到数据的压缩表示，来提取数据的关键特征。
• 方法：
• 编码器将输入数据映射到一个低维的 latent space。
• 解码器将 latent representation 映射回原始输入空间。
• 使用重构误差 (例如，均方误差) 来训练模型。
• 变体：
• 去噪自编码器 (Denoising Autoencoder)：在输入中加入噪声，然后训练模型重构原始输入。
• 变分自编码器 (Variational Autoencoder, VAE)：使用概率分布来表示 latent representation。
• 稀疏自编码器 (Sparse Autoencoder)：在 latent representation 上加入稀疏性约束。

• 预测编码 (Predictive Coding)：
• 原理： 根据上下文预测未来的信息。
• 方法：
• 时间序列预测：根据过去的信息预测未来的信息，例如，根据视频的前几帧预测下一帧，根据文本的前文预测下一个单词。
• 空间预测：根据周围的信息预测缺失的信息，例如，根据图像的周围像素预测图像的中心像素。
• 示例：
• CPC (Contrastive Predictive Coding)。

5.8.3 在 Agent 中的应用：从未标注数据中学习

• 从未标注的数据中学习特征表示： 减少对标注数据的依赖，降低数据获取成本。

• 提高 Agent 的数据效率和泛化能力： 通过自监督学习，Agent 可以在大量未标注数据上进行预训练，学习到更通用、更鲁棒的特征表示，从而提高在下游任务上的性能和泛化能力。

• 例如： 可以使用自监督学习来预训练 Agent 的视觉编码器 (例如，使用对比学习预训练图像编码器) 或语言编码器 (例如，使用 MLM 预训练语言模型)。

5.8.4 挑战：代理任务设计、评估

• 代理任务设计 (Proxy Task Design)： 如何设计有效的代理任务，使模型能够学习到有用的特征表示，是一个难题。 代理任务的设计需要一定的领域知识和创造力。

• 评估： 如何评估自监督学习的效果，通常需要结合下游任务进行评估。 由于没有直接的监督信号，很难直接评估自监督学习学到的表示的质量。

5.8.5 与 LLM/VLM 的结合

• LLM： 掩码语言模型 (MLM) 是 LLM 预训练的核心技术。

• VLM： 对比学习、图像-文本匹配等方法被广泛应用于 VLM 的预训练。