DeepMind研究员推测DeepSeekV4延期原因：训练数据翻倍至33T引发严重不稳定

时间：2026-04-24 15:30:57

　　消息，DeepMind研究员Susan Zhang推测，DeepSeek V4的延期原因是训练数据翻倍至33T引发的严重不稳定性。根据V4技术报告，V4-Flash和V4-Pro分别在32T和33T tokens上预训练，较V3的约15T tokens翻倍。报告坦承训练过程中遭遇了显著的不稳定性挑战，loss spike反复出现，根源在于MOE层的异常值，路由机制本身还会加剧这些异常值，简单回滚无法根治。DeepSeek找到两个方案并已应用于实际训练：预见性路由，将路由索引计算与主干网络更新解耦，仅在检测到loss spike时自动触发，额外开销约20%Swiglu clamping，将激活值钳位到固定范围直接压制异常值。报告称两者均有效，但承认底层原理尚未充分理解。

上一篇：伊朗战争重创聚酯供应商，或提高Zara和HM等快时尚零售商的成本返回首页

下一篇：比特币ETF在过去5个交易日吸纳18991 BTC

热点推荐

1 Bitget恢复CRO

消息，Bitget宣布已恢复CRO - Ethereum网络的提币服务。对于暂停期间给用户带来的不便，Bitget深表...

2 本周关键经济事件：特斯拉与谷歌财报

消息，本周将迎来多项关键经济事件：周二发布ADP就业变动数据，周三特斯拉和谷歌将公布财...

3 BANK热度上升，24h成交量放大至近7日平均

消息，据a早期发行in监测，BANK过去24小时成交量放大至近7日平均水平的8.2倍，价格累计上涨...

4 某巨鲸在Hyperliquid持有CXMT空单，并挂出

消息，据A早期发行in监测，某巨鲸在Hyperliquid以1倍逐仓做空18.84万份CXMT，仓位价值约126.72万美...

5 伊朗海军防空系统在南部拦截并摧毁了一