【导语】6月7日,面壁智能发布了端侧大模型MiniCPM 4.0,该模型通过自研CPM.cu推理框(kuāng)架(jià)实(shí)现(xiàn)极(jí)限(xiàn)场(chǎng)景(jǐng)下(xià)220倍(bèi)提(tí)速(sù)。此(cǐ)次(cì)发(fā)布(bù)的(de)MiniCPM 4.0系(xì)列(liè)包(bāo)括(kuò)8B和(hé)0.5B两(liǎng)种(zhǒng)参(cān)数(shù)规(guī)模(mó),采用(yòng)创(chuàng)新(xīn)稀(xī)疏(shū)架(jià)构(gòu)和(hé)“高(gāo)效(xiào)双(shuāng)频(pín)换(huàn)挡(dǎng)”机(jī)制(zhì),兼(jiān)顾(gù)长(zhǎng)、短(duǎn)文本(běn)处(chù)理(lǐ)。MiniCPM 4.0支(zhī)持(chí)在(zài)多(duō)个(gè)开(kāi)源(yuán)框(kuāng)架(jià)部(bù)署(shǔ),带(dài)来(lái)90%的(de)模(mó)型瘦身和速度提升,实现端侧推理的显著提升。

6 月 7 日消息,面壁智能发布端侧大模型 MiniCPM 4.0。该公司称新模型通过自研(yán)CPM.cu推(tuī)理(lǐ)框架,在极限场景下实现最高 220 倍提速,常规 5 倍提速,支持在 vLLM、SGLang、LlamaFactory 等框架部署。
此次发布的一款 8B 闪电稀疏版,采用创新稀疏架构掀起高效风暴;另一款 0.5B 则被称作“轻巧灵动的最强小小钢炮”。
据官方介绍,此次面壁推出的 MiniCPM 4.0 系列 LLM 模型拥有8B、0.5B 两种参数规模,针对单一架构难以兼顾长、短文本不同场景的技术难题,MiniCPM 4.0-8B 采用「高效双频换挡」机制,能够根据任务特征自动切换注意力模式:在处理高难度的长文本、深度思考任务时,启用稀疏注意力以降低计算复杂度,在短文本场景下切换至稠密注意力以确保精度,实现了长、短文本切换的高效响应。
据了解,MiniCPM 4.0 可在vLLM、SGLang、LlamaFactory、XTuner等开源框架部署。其内置自研CPM.cu极速端侧推理框架,从投机采样创新、模型压缩量化创新、端侧部署框架创新几方面,带来 90% 的模型瘦身和速度提升,官方宣称将实现端侧推理“从天生到终生”的丝滑。
官方网站-首页