清華大學(xué)新突破：“太極-Ⅱ”光芯片首次實現(xiàn)大規(guī)模光訓(xùn)練

小編今天整理了一些清華大學(xué)新突破：“太極-Ⅱ”光芯片首次實現(xiàn)大規(guī)模光訓(xùn)練相關(guān)內(nèi)容，希望能夠幫到大家。

　　據(jù)清華大學(xué)官方消息，該校電子工程系方璐教授課題組、自動化系戴瓊海院士課題組另辟蹊徑，首創(chuàng)了全前向智能光計算訓(xùn)練架構(gòu)，研制了“太極-II”光訓(xùn)練芯片，實現(xiàn)了光計算系統(tǒng)大規(guī)模神經(jīng)網(wǎng)絡(luò)的高效精準(zhǔn)訓(xùn)練。

　　該研究成果以“光神經(jīng)網(wǎng)絡(luò)全前向訓(xùn)練”為題，于北京時間 8月7日在線發(fā)表于《自然》期刊。

　　該論文由清華大學(xué)電子系作為第一單位，方璐教授和戴瓊海教授擔(dān)任通訊作者，博士生薛智威和博士后周天貺為共同第一作者，博士生徐智昊和之江實驗室虞紹良博士參與研究。課題得到國家科技部、國家自然科學(xué)基金委、北京信息科學(xué)與技術(shù)國家研究中心、清華大學(xué)-之江實驗室聯(lián)合研究中心的支持。

　　Nature審稿人在審稿評述中指出“本文中提出的想法非常新穎，此類光學(xué)神經(jīng)網(wǎng)絡(luò)(ONN)的訓(xùn)練過程是前所未有的。所提出的方法不僅有效，而且容易實現(xiàn)。因此，它有望成為訓(xùn)練光學(xué)神經(jīng)網(wǎng)絡(luò)和其他光學(xué)計算系統(tǒng)的廣泛采用的工具。”

　　該研究利用光子傳播對稱性，將神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的前向與反向傳播都等效為光的前向傳播。在太極-II架構(gòu)下，梯度下降的反向傳播轉(zhuǎn)化為光學(xué)系統(tǒng)的前向傳播，訓(xùn)練過程僅需兩次前向傳播，具有天然對齊特性，確保了物理梯度的精確計算。這種訓(xùn)練方法精度高，支持大規(guī)模網(wǎng)絡(luò)訓(xùn)練，且不再依賴電計算進(jìn)行離線建模與訓(xùn)練。

　　太極-II光訓(xùn)練芯片以光為計算媒介，利用光的全前向傳播實現(xiàn)訓(xùn)練，大幅提升了光網(wǎng)絡(luò)訓(xùn)練的速度與能效。研究表明，太極-II能夠?qū)Χ喾N不同光學(xué)系統(tǒng)進(jìn)行訓(xùn)練，并在各種任務(wù)下表現(xiàn)出卓越性能。在大規(guī)模學(xué)習(xí)領(lǐng)域，太極-II將數(shù)百萬參數(shù)的光網(wǎng)絡(luò)訓(xùn)練速度提升了1個數(shù)量級，智能分類任務(wù)的準(zhǔn)確率提升了40%。在復(fù)雜場景智能成像方面，太極-II在弱光環(huán)境下實現(xiàn)了5.40×10^6 TOPS/W的全光處理，系統(tǒng)級能效提升了6個數(shù)量級。在非視域場景下，實現(xiàn)了千赫茲幀率的智能成像，效率提升了2個數(shù)量級。在拓?fù)涔庾訉W(xué)領(lǐng)域，太極-II能夠自動搜索非厄米奇異點，為解析復(fù)雜拓?fù)湎到y(tǒng)提供了新思路。

　　太極-II的問世，進(jìn)一步揭示了智能光計算的巨大潛力。太極I和II分別實現(xiàn)了高能效AI推理與訓(xùn)練，共同構(gòu)成了大規(guī)模智能計算的完整生命周期。方璐表示，太極系列將為未來AI大模型注入算力發(fā)展的新動力，構(gòu)建光算力的新基座。

　　目前，研究團(tuán)隊正積極推進(jìn)智能光芯片產(chǎn)業(yè)化，在多種端側(cè)智能系統(tǒng)上進(jìn)行了應(yīng)用部署。預(yù)計智能光計算平臺將以更低的資源消耗和更小的邊際成本，為人工智能大模型、通用人工智能、復(fù)雜智能系統(tǒng)的高速高能效計算開辟新路徑。

以上就是大學(xué)路小編為大家?guī)淼膬?nèi)容了，想要了解更多相關(guān)信息，請關(guān)注大學(xué)路。