AI姨：研究表明大模型越训越「死板」

时间：2026-06-26 20:44:20

　　研究表明大模型在训练过程中会逐渐丧失吸收新知识的能力，最终导致模型越训练越死板。若无法攻克可塑性丧失，大模型将无法低成本持续学习，每次更新知识都需重新训练全部历史数据和新数据，消耗巨额算力。研究指出，增大模型虽然能延迟退化，但边际效益递减，仅靠堆参数无法根治可塑性丧失。1b参数模型在训练1.8万亿token后会变傻，7b模型则在9万亿后显现。研究还指出，大模型变傻的原因包括参数体积增大阻碍梯度传导、神经元大规模休眠以及注意力头瘫痪等。潜在的治疗方案包括限制参数膨胀、定期给罢工神经元实施「神经重置」以及在注意力机制中引入随机噪点。

上一篇：BTC与ETH期权到期数据分析返回首页

下一篇：没有了

热点推荐

1 AI姨：研究表明大模型越训越「死板」

研究表明大模型在训练过程中会逐渐丧失吸收新知识的能力，最终导致模型越训练越死板。若...

2 BTC与ETH期权到期数据分析

6月26日，约15万张BTC期权到期，名义价值90亿美元约100万张ETH期权到期，名义价值15.7亿美元。...

3 Base将Beryl升级推迟一天，以确保B20激活注

消息，Base宣布将Beryl主网升级推迟一天，现定于6月26日18:00 UTC激活，而原定于6月25日。推迟原...

4 Bybit CEO Ben Zhou：交易所正演变为金融基础

消息，Bybit CEO Ben Zhou在苏黎世Point Zero Forum表示，交易所正从交易平台演变为支付、代币化资产...

5 Sakana AI发布多智能体系统Fugu，多项评测击