“悟道3.0”大模型系列成果亮相北京智源大會

6月9日-10日，“北京智源大會”在中關(guān)村國家自主創(chuàng)新示范區(qū)會議中心舉行。智源研究院院長黃鐵軍發(fā)布《2023智源研究院進(jìn)展報(bào)告》，并發(fā)布了全面開源的“悟道3.0”系列大模型及算法。

200余位人工智能頂尖專家云集北京智源大會，探討通用人工智能發(fā)展面臨的機(jī)遇與挑戰(zhàn)。主辦方供圖

智源“悟道3.0”進(jìn)入全面開源新階段

(資料圖片僅供參考)

2021年3月，在悟道1.0發(fā)布會上，智源研究院研判人工智能已經(jīng)從“大煉模型”轉(zhuǎn)變?yōu)椤盁挻竽Ｐ汀钡男码A段，從此，“大模型”這個(gè)概念進(jìn)入公眾視野。2021年6月1日，“悟道2.0”模型發(fā)布，其參數(shù)規(guī)模達(dá)到1.75萬億，是當(dāng)時(shí)中國首個(gè)、全球最大的萬億級模型。

何為大模型？黃鐵軍認(rèn)為需要具備三個(gè)條件：一是規(guī)模要大，參數(shù)達(dá)百億規(guī)模以上；二是涌現(xiàn)性，能夠產(chǎn)生預(yù)料之外的新能力；三是通用性，不限于專門問題或領(lǐng)域，能夠處理多種不同的任務(wù)。

如今，該系列模型已發(fā)展到“悟道3.0”版本，涵蓋語言、視覺、多模態(tài)等基礎(chǔ)大模型，現(xiàn)在已全面開源，帶來一系列領(lǐng)先成果，包括“悟道·天鷹”（Aquila）語言大模型系列、天秤（FlagEval）開源大模型評測體系與開放平臺、“悟道 · 視界”視覺大模型系列，以及一系列多模態(tài)模型成果。

“天秤”協(xié)助研究人員評估基礎(chǔ)模型及訓(xùn)練算法性能

為推動(dòng)大模型產(chǎn)業(yè)落地和技術(shù)創(chuàng)新，智源研究院發(fā)布“開源商用許可語言大模型系列+開放評測平臺” 兩大成果，打造“大模型進(jìn)化流水線”，持續(xù)迭代、持續(xù)開源開放。

其中，“悟道·天鷹”（Aquila）語言大模型是首個(gè)具備中英雙語知識、支持商用許可協(xié)議、國內(nèi)數(shù)據(jù)合規(guī)需求的開源語言大模型。其在中英文高質(zhì)量語料基礎(chǔ)上從0開始訓(xùn)練，通過數(shù)據(jù)質(zhì)量的控制、多種訓(xùn)練的優(yōu)化方法，實(shí)現(xiàn)在更小的數(shù)據(jù)集、更短的訓(xùn)練時(shí)間內(nèi)，獲得比其他開源模型更優(yōu)的性能。

天秤（FlagEval）開源大模型評測體系與開放平臺，旨在建立科學(xué)、公正、開放的評測基準(zhǔn)、方法、工具集，協(xié)助研究人員全方位評估基礎(chǔ)模型及訓(xùn)練算法的性能，同時(shí)探索利用AI方法實(shí)現(xiàn)對主觀評測的輔助，大幅提升評測的效率和客觀性。

目前已推出語言大模型評測、多國語言文圖大模型評測及文圖生成評測等工具，并對各種語言基礎(chǔ)模型、跨模態(tài)基礎(chǔ)模型實(shí)現(xiàn)評測。后續(xù)將全面覆蓋基礎(chǔ)模型、預(yù)訓(xùn)練算法、微調(diào)算法等三大評測對象，包括自然語言處理（NLP）、計(jì)算機(jī)視覺（CV）、音頻（Audio）及多模態(tài)（Multimodal）等四大評測場景。

“天演”接入天河新一代超級計(jì)算機(jī)，提升神經(jīng)元網(wǎng)絡(luò)仿真性能

智源研究院還在AI for Science領(lǐng)域進(jìn)行探索，通過人工智能與基礎(chǔ)科學(xué)深度融合的嶄新科研范式，延展不同科學(xué)領(lǐng)域的探索邊界。在相關(guān)研究中，智源團(tuán)隊(duì)在生命演化和蛋白質(zhì)結(jié)構(gòu)預(yù)測方向作出了成果。

據(jù)悉，OpenComplex是智源健康計(jì)算研究中心打造的面向生物大分子的開源人工智能算法平臺，目前已開源蛋白質(zhì)、RNA以及復(fù)合物的高精度結(jié)構(gòu)預(yù)測訓(xùn)練和評測代碼。

去年智源大會發(fā)布了最高精度的仿真線蟲?，F(xiàn)在，智源開放仿真線蟲研究所使用的“天演”平臺，提供在線服務(wù)。天演是超大規(guī)模精細(xì)神經(jīng)元網(wǎng)絡(luò)仿真平臺，基于該平臺，可實(shí)現(xiàn)對生物智能進(jìn)行高精度仿真，探索智能的本質(zhì)，推動(dòng)由生物啟發(fā)的通用人工智能。

為提升神經(jīng)系統(tǒng)仿真規(guī)模與性能，天演團(tuán)隊(duì)將天演接入我國新一代百億億次超級計(jì)算機(jī)——天河新一代超級計(jì)算機(jī)。通過“天演-天河”的成功運(yùn)行，實(shí)現(xiàn)鼠腦V1視皮層精細(xì)網(wǎng)絡(luò)等模型仿真，計(jì)算能耗均可降低約10倍以上，計(jì)算速度實(shí)現(xiàn)10倍以上提升，達(dá)到全球范圍內(nèi)最極致的精細(xì)神經(jīng)元網(wǎng)絡(luò)仿真性能。

新京報(bào)記者 張璐

編輯 劉夢婕 校對 吳興發(fā)