近日，字节跳动豆包大模型团队宣布推出全新稀疏模型架构UltraMem。该架构解决了MoE推理的高额访存问题，推理速度较MoE架构提升2-6倍，推理成本最高降83%。
UltraMem具有出色的Scaling特性，实验显示，在同等计算资源下，训练规模达2000万value的UltraMem模型能同时实现领先的推理速度和模型性能。该创新成果已被ICLR 2025接收，为AI领域提供新思路。
UltraMem参考PKM设计，但针对其缺陷进行改进，实现更高效访存和优质检索，同时降低显存和部署成本。在降低推理成本和提升速度的同时，UltraMem还保持了模型效果。
实验表明，UltraMem在模型效果和推理速度方面均优于MoE和PKM架构。
推理成本的降低将助推AI技术在更多领域应用，尤其是资源受限的场景。对于用户而言，UltraMem架构的突破和推理速度的提升可使AI应用响应更迅速，交互更流畅，优化使用体验，提高效率。
消息，Robinhood CEO Vlad Tenev在接受《纽约时报》采访时辩称，交易不应被视为赌博，尤其是在公...
2 SpaceX股价下跌40%至81美元，低于首次上市消息，SpaceX股价下跌40%，现报81美元，低于首次上市价格135美元，此前曾短暂触及225美元。该公...
3 Base最大中文社区更名为Base，meme币$BRIAN市消息，Base最大中文社区更名为Base，疑似对Coinbase CEO Brian Armstrong更换头像表示不满。Armstrong曾...
4 美军再次袭击伊朗格什姆岛，伊朗方面正美军于19日14时10分再次袭击伊朗格什姆岛部分地区，当地至少两次传出爆炸声，伊朗有关部门...
5 美国务院建议全球范围美公民提高警惕消息，美国国务院于7月18日在其官方网站发布全球安全提醒，建议全球范围内的美国公民提高...
6 3至5枚导弹击中了岛上的不同区域消息，据伊朗塔斯尼姆通讯社：伊朗格什姆岛居民称，3至5枚导弹击中了岛上的不同区域。...
7 美国监管机构未能按期出台GENIUS法案规定消息，美国监管机构未能按期在一年内出台GENIUS法案规定的稳定币实施细则。截至7月18日，财...
8 SpaceX IPO价格跌破135美元至124美元，面临锁消息，SpaceX的股票价格已跌破其135美元的IPO价格，目前约为124美元，锁定期到期在即。这一变...
9 油价上涨4%，交易员警告市场面临供应危特朗普政府已通知以色列，计划向该地区部署额外空中资产，暗示美国军方可能在本周末扩大...
10 FTX计划于7月31日向债权人支付9亿美元消息，FTX Trading Ltd.和FTX Recovery Trust将于2026年7月31日开始向债权人支付约9亿美元，这标志着自...
成都来彰科技 蜀ICP备2025134723号-1
资讯来源互联网，如有版权问题请联系管理员删除。
