当前位置:主页 > 热点 >

MiniMax预告M3稀疏注意力,1M上下文提速9.7倍

时间:2026-05-27 09:46:12

  消息,MiniMax工程负责人Skyler Miao在X预告新一代模型M3,公布了全新注意力架构:MiniMax Sparse Attention。在100万tokens超长上下文场景下,相较于M2,M3在Prefill阶段的注意力延迟下降约9.7倍,Decode阶段下降约15.6倍。随着上下文窗口迈向百万级别,长文本推理的瓶颈正在转移,显存容量不再是唯一限制,全稠密注意力的计算成本成为主要瓶颈。Redis创始人Salvatore Sanfilippo评价MSA路线为「正确的道路」,认为稠密注意力的开销难以为继。MSA的推出表明MiniMax正在重新进攻高效注意力路线,尽管设计路径清晰,但其稳定性仍待技术报告与第三方复现检验。

热点推荐
1 美联储官员鸽派言论推动加密货币市场普

CoinMeta:美联储副主席表示,目前的通胀数据正接近目标区间,年底降息仍在讨论之中。消息公...

2 MiniMax预告M3稀疏注意力,1M上下文提速9

消息,MiniMax工程负责人Skyler Miao在X预告新一代模型M3,公布了全新注意力架构:MiniMax Sparse A...

3 国际油价“过山车”供需缺口托底下行空

近期国际原油市场上演过山车行情,受中东地缘冲突影响,国际油价骤然上涨后又出现高位跳...

4 ZEC最大空头:ETH空单减持396.07枚,当前盈

消息,ETH空单减持396.07枚,约合896,785.09美元,当前持仓规模为3,025,708.13美元,均价为2,278.74美...

5 Hyperliquid推出验证者结算的现实事件市场

消息,Hyperliquid宣布在其HIP-4升级中新增验证者结算的现实事件市场,扩展其交易系统至预测市...

6 Optimism:OP主网测试基于质押的交易优先级

消息,Optimism的OP主网已开始为期四周的实验,允许用户通过质押至少100,000 OP来提升交易优先级...

7 美元指数26日上涨

消息,美元指数在26日上涨0.2%,在汇市尾市收于99.169。具体汇率方面,1欧元兑换1.1629美元,低...

8 Stable推出USDT收益金库,支持国债和黄金

消息,Stable,一个专注于USDT的Layer 1区块链,已推出名为StableEarn的USDT收益金库,允许USDT持有者...

9 世界币(WLD)涨幅超30%,Zcash(ZEC)下跌

消息,据CoinMarketCap数据,今日全球前100大加密货币市场出现明显分化,世界币上涨超过30%,而...

10 麻吉黄立成:ETH多单增持875枚,当前盈亏

消息,麻吉黄立成在HyperLiquid平台增持ETH多单875枚,约合1,807,400美元。当前持仓规模为10,531,6...

成都来彰科技 蜀ICP备2025134723号-1

资讯来源互联网,如有版权问题请联系管理员删除。