官方网站-首页官方网站-首页

寒武纪已适配 DeepSeek-V3.2-Exp,同步开源推理引擎 vLLM-MLU

形状
形状
形状
形状
形状
形状
形状
形状

【导语】9月30日,DeepSeek发布实验性版本DeepSeek-V3.2-Exp模型,寒武纪迅速宣布完成适配并开源相关引擎代码,凭借生态积累与技术优势实现新模型架构的快速适配与极致性能优化,携手为客户打造(zào)高(gāo)竞(jìng)争(zhēng)力(lì)软(ruǎn)硬(yìng)件(jiàn)方(fāng)案(àn)。

寒武纪已适配 DeepSeek-V3.2-Exp,同步开源推理引擎 vLLM-MLU

  9 月(yuè) 30 日(rì)消(xiāo)息(xi),DeepSeek 正(zhèng)式(shì)发(fā)布(bù)了(le) DeepSeek-V3.2-Exp 模(mó)型(xíng),这(zhè)是(shì)一(yī)个(gè)实(shí)验(yàn)性(xìng)(Experimental)的(de)版(bǎn)本(běn)。寒(hán)武(wǔ)纪(jì)也(yě)宣(xuān)布(bù),已(yǐ)同(tóng)步(bù)实(shí)现(xiàn)对(duì)深(shēn)度求索公司最新模型 DeepSeek-V3.2-Exp 的适配,并开源大模型推理引擎 vLLM-MLU 源代码。

  寒武纪称,一直高度重视大模型软件生态建设,支持以 DeepSeek 为代表的所有主流开源大模型。借助于长期活跃的生态建设和技术积累,寒武纪得以快速实现对 DeepSeek-V3.2-Exp 这一全新实验性模型架构的 day 0 适配和优化。

  针对本次的 DeepSeek-V3.2-Exp 新模型架构,寒武纪通过 Triton 算子开发实现了快速适配,利用 BangC 融(róng)合(hé)算(suàn)子(zi)开发实现了极致性能优化,并基于计算与通信的并行策略,再次达成了业界领先的计算效率水平。依托 DeepSeek-V3.2-Exp 带来的全新 DeepSeek Sparse Attention 机制,叠加寒武纪的极致计算效率,可大幅降低长序列场景下的训推成本,共同为客户提供极具竞争力的软硬件解决方案。


发表评论