在线策略自蒸馏与做梦模拟或成大模型持续学习新解法

时间：2026-06-28 11:28:45

　　消息，OneMillion_AI发文称，大语言模型在部署后面临无法持续吸收新知识的难题，现有优化技术主要集中在扩大上下文窗口和提升查找速度，无法解决知识遗忘问题。在线策略自蒸馏提供了一条新的权重更新路径，通过反向传播计算基础状态与教师状态在token级别的概率差异，提供监督信号，帮助基础模型逼近高分状态。相比于传统的监督微调，自蒸馏仅提取必要的决策经验，避免灾难性遗忘，保护大模型的通用常识。另一条学习路径是做梦模拟，模型在复杂任务中构建虚拟模拟器环境进行任务演练，成功轨迹将更新基础模型的权重。预计2027至2028年，AI代理在与人类协同工作一周后将接受工作评估，获得认可后将通过在线策略自蒸馏或做梦模拟，将实战经验内化至模型底层权重，实现能力的在线扩张。

上一篇：消息称4枚飞行物击中伊朗伦格港附近地区返回首页

下一篇：没有了

热点推荐

1 在线策略自蒸馏与做梦模拟或成大模型持

消息，OneMillion_AI发文称，大语言模型在部署后面临无法持续吸收新知识的难题，现有优化技术...

2 消息称4枚飞行物击中伊朗伦格港附近地区

消息，据伊朗方面28日消息，当天凌晨，伊朗南部城市伦格港附近地区被4枚飞行物击中。美军...

3 SharpLink Gaming过去三天购入39196枚以太坊，

消息，SharpLink Gaming最近购入了29,196枚以太坊，价值约4670万美元。过去三天内，他们总共购入了...

4 Solana价格反弹面临陷阱，代币化股票热潮

消息，Solana价格在周五反弹，回升至72美元，因市场对与人工智能相关的代币化股票需求上升。...

5 爆炸与多枚炮弹击中一座通信塔有关