官方网站-首页
【导语】9月8日消息，中国科学院自动化研究所李国齐、徐波团队联合沐曦MetaX，推出全球首款全流程国产化类脑脉冲大模型“瞬悉1.0”（SpikingBrain-1.0），在国产千卡GPU算力平台实现超长序列推理效率数量级提升，同步开源相关模型及技术报告，标志着我国在类脑计算与大模型融合创新领域取得重大突破。
9 月 8 日消息，据中国科学院自动化研究所官方微信公众号消息，近日，中国科学院自动化研究所李国齐、徐波团队在发表原创内生复杂性理论系列论文的工作基础上，与沐曦 MetaX 合作，打造了类脑脉冲大模型“瞬悉 1.0”（SpikingBrain-1.0），在国产千卡 GPU 算力平台上完成全流程训练和推理，实现了大模型在超长序列推理上数量级的效率和速度提升，展示了构建国产自主可控的新型非 Transformer 大模型架构生态的可行性。研究团队开源了 SpikingBrain-1.0-7B 模型并开放 SpikingBrain-1.0-76B 测试网址，同步公开了经工业界大规模验证的类脑脉冲大模型 SpikingBrain-1.0 中英文技术报告。这是全球首款类脑脉冲大模型，实现了全流程国产化，标志着我国在类脑计算与大模型融合创新方面取得重要突破。
从官方介绍获悉，研发团队借鉴大脑神经元内部复杂工作机制提出“基于内生复(fù)杂(zá)性(xìng)”的(de)大(dà)模(mó)型构架方式，打(dǎ)造(zào)类(lèi)脑(nǎo)脉(mài)冲大模型“瞬悉 1.0”（ SpikingBrain-1.0），在理论上建立了脉冲神经元内生动力学与线性注意力模型之间的联系，揭示了现有线性注意力机制是树突计算的特殊简化形式，从而清晰地展示了一条不断提升模型复杂度(dù)和(hé)性(xìng)能(néng)的(de)新(xīn)型(xíng)可(kě)行(xíng)路径。研(yán)发(fā)团(tuán)队(duì)进(jìn)而(ér)构(gòu)建(jiàn)并(bìng)开(kāi)源(yuán)了(le)基(jī)于(yú)脉(mài)冲(chōng)神(shén)经(jīng)元(yuán)、具(jù)有(yǒu)线(xiàn)性(xìng)（SpikingBrain-1.0-7B）及(jí)混(hùn)合(hé)线(xiàn)性(xìng)复(fù)杂(zá)度(dù)（SpikingBrain-1.0-76B，激(jī)活(huó)参(cān)数(shù)量 12B）的新型类脑基础模(mó)型(xíng)，开(kāi)发(fā)了(le)面(miàn)向(xiàng)国(guó)产(chǎn) GPU（沐(mù)曦(xī) MetaX 曦(xī)云(yún) C550）集群(qún)高(gāo)效(xiào)训(xun)练(liàn)和(hé)推(tuī)理(lǐ)框(kuāng)架(jià)、Triton 算(suàn)子(zi)库(kù)、模(mó)型(xíng)并(bìng)行(xíng)策(cè)略(è)以(yǐ)及(jí)集群(qún)通(tōng)信(xìn)原(yuán)语(yǔ)。
李(li)国(guó)齐(qí)表(biǎo)示(shì)，这(zhè)项(xiàng)成(chéng)果(guǒ)不(bù)仅(jǐn)是(shì)我国在类脑脉冲大(dà)模(mó)型(xíng)架(jià)构(gòu)和(hé)国(guó)产(chǎn)算(suàn)力(lì)全流(liú)程(chéng)建(jiàn)设(shè)上(shàng)的(de)重(zhòng)大(dà)突(tū)破(pò)，更(gèng)为(wèi)法(fǎ)律(lǜ)、医(yī)疗(liáo)、科(kē)学(xué)模(mó)拟(nǐ)等(děng)超(chāo)长(zhǎng)序(xù)列(liè)应(yīng)用(yòng)场(chǎng)景(jǐng)提(tí)供(gōng)了更高效的建模工(gōng)具(jù)，也(yě)将(jiāng)启(qǐ)迪下一代神经形态计算理论和芯片设计。