华为将于2025年9月正式开源UCM
网络 08-13
据悉,华为将于2025年9月正式开源UCM,届时将在魔擎社区首发,后续逐步贡献给业界主流推理引擎社区,并共享给业内所有Share Everything存储厂商和生态伙伴。
华为UCM(推理记忆数据管理器)是一款以KVCache为中心的推理加速套件,融合多类型缓存加速算法工具,通过分级管理推理过程中产生的KVCache记忆数据,扩大推理上下文窗口,能实现高吞吐、低时延的推理体验。
评论
发表评论
暂无评论
相关推荐