当前位置:主页 > 业界 >

Muon训练时自信很准,换到新样本就容易过头

时间:2026-04-27 16:17:20

  消息,Muon优化器在训练时表现出很高的自信度,但在新样本上容易出现过度自信的现象。最新论文《too sharp, too sure: when calibration follows curvature》指出,模型在训练集上能准确判断自己的把握程度,但在测试集上,置信度与实际正确率不符,导致过度自信。实验显示,Muon在CIFAR-10图像分类任务中的测试ECE为0.065,AdamW为0.061,SGD为0.081,SAM为0.020。Muon的训练ECE几乎为0,显示出训练集与测试集之间的落差更明显。论文提出的Calmo方法能将Muon的测试ECE降至0.019,但尚未在大语言模型上验证。DeepSeek V4技术报告显示,部分模块仍使用AdamW,提醒需关注Muon在泛化时的表现。

热点推荐
1 标准Chartered支持的Anchorpoint将推出HKDAP稳定

标准Chartered支持的Anchorpoint已准备推出港元稳定币HKDAP,预计将在7月底前联合宣布。该稳定币将...

2 贝佐斯注资CuspAI探索新材料用于芯片制造

消息,贝佐斯所注资的英国创企CuspAI于周一成立人工智能材料铸造厂联盟,汇聚了逾48家科技巨...

3 Loopring完成L2 NFT返还,发送2046枚至1241个地

消息,吴说获悉,Loopring宣布已完成L2 NFT返还,通过9批以太坊主网交易向1241个一级网络地址发...

4 广发证券刘晨明:近期市场调整受外部因

消息,广发证券策略首席分析师刘晨明表示,近期A股回调主要源于外部输入性因素,属于情绪...

5 比特币现货ETF净流入7567万美元,以太坊净

消息,上周交易日比特币现货ETF净流入7567万美元,以太坊现货ETF净流入1.05亿美元,SOL现货ET...

6 AI杠杆押注担忧加剧,韩股大跌5%

消息,韩国KOSPI指数周一下跌5%,投资者纷纷平仓与人工智能相关的交易,延续四周连跌的颓势...

7 Scott Bessent:稳定币行业预计到2030年将实

消息,财政部长Scott Bessent表示,稳定币行业预计在未来几年内将实现指数级增长,可能在203...

8 币安将停止对Moonriver(MOVR)和Moonbeam(

消息,币安宣布将于2026年7月21日11:00停止对Moonriver和Moonbeam的主网支持,相关代币的存取款将暂...

9 Allbridge被黑客攻击,损失约165万美元

消息,Allbridge平台遭到黑客攻击,损失约165万美元。攻击者迅速将所有被盗资金跨链转移,并...

10 韩国调查40起加密操纵案件

消息,韩国金融服务委员会主席李玉源在虚拟资产用户保护法实施两周年之际发布数据显示,...

成都来彰科技 蜀ICP备2025134723号-1

资讯来源互联网,如有版权问题请联系管理员删除。