清華大學(xué)新突破：“太極-Ⅱ”光芯片首次實(shí)現(xiàn)大規(guī)模光訓(xùn)練

小編今天整理了一些清華大學(xué)新突破：“太極-Ⅱ”光芯片首次實(shí)現(xiàn)大規(guī)模光訓(xùn)練相關(guān)內(nèi)容，希望能夠幫到大家。

　　據(jù)清華大學(xué)官方消息，該校電子工程系方璐教授課題組、自動(dòng)化系戴瓊海院士課題組另辟蹊徑，首創(chuàng)了全前向智能光計(jì)算訓(xùn)練架構(gòu)，研制了“太極-II”光訓(xùn)練芯片，實(shí)現(xiàn)了光計(jì)算系統(tǒng)大規(guī)模神經(jīng)網(wǎng)絡(luò)的高效精準(zhǔn)訓(xùn)練。

　　該研究成果以“光神經(jīng)網(wǎng)絡(luò)全前向訓(xùn)練”為題，于北京時(shí)間 8月7日在線發(fā)表于《自然》期刊。

　　該論文由清華大學(xué)電子系作為第一單位，方璐教授和戴瓊海教授擔(dān)任通訊作者，博士生薛智威和博士后周天貺為共同第一作者，博士生徐智昊和之江實(shí)驗(yàn)室虞紹良博士參與研究。課題得到國(guó)家科技部、國(guó)家自然科學(xué)基金委、北京信息科學(xué)與技術(shù)國(guó)家研究中心、清華大學(xué)-之江實(shí)驗(yàn)室聯(lián)合研究中心的支持。

　　Nature審稿人在審稿評(píng)述中指出“本文中提出的想法非常新穎，此類(lèi)光學(xué)神經(jīng)網(wǎng)絡(luò)(ONN)的訓(xùn)練過(guò)程是前所未有的。所提出的方法不僅有效，而且容易實(shí)現(xiàn)。因此，它有望成為訓(xùn)練光學(xué)神經(jīng)網(wǎng)絡(luò)和其他光學(xué)計(jì)算系統(tǒng)的廣泛采用的工具?！?/p>

　　該研究利用光子傳播對(duì)稱性，將神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的前向與反向傳播都等效為光的前向傳播。在太極-II架構(gòu)下，梯度下降的反向傳播轉(zhuǎn)化為光學(xué)系統(tǒng)的前向傳播，訓(xùn)練過(guò)程僅需兩次前向傳播，具有天然對(duì)齊特性，確保了物理梯度的精確計(jì)算。這種訓(xùn)練方法精度高，支持大規(guī)模網(wǎng)絡(luò)訓(xùn)練，且不再依賴電計(jì)算進(jìn)行離線建模與訓(xùn)練。

　　太極-II光訓(xùn)練芯片以光為計(jì)算媒介，利用光的全前向傳播實(shí)現(xiàn)訓(xùn)練，大幅提升了光網(wǎng)絡(luò)訓(xùn)練的速度與能效。研究表明，太極-II能夠?qū)Χ喾N不同光學(xué)系統(tǒng)進(jìn)行訓(xùn)練，并在各種任務(wù)下表現(xiàn)出卓越性能。在大規(guī)模學(xué)習(xí)領(lǐng)域，太極-II將數(shù)百萬(wàn)參數(shù)的光網(wǎng)絡(luò)訓(xùn)練速度提升了1個(gè)數(shù)量級(jí)，智能分類(lèi)任務(wù)的準(zhǔn)確率提升了40%。在復(fù)雜場(chǎng)景智能成像方面，太極-II在弱光環(huán)境下實(shí)現(xiàn)了5.40×10^6 TOPS/W的全光處理，系統(tǒng)級(jí)能效提升了6個(gè)數(shù)量級(jí)。在非視域場(chǎng)景下，實(shí)現(xiàn)了千赫茲幀率的智能成像，效率提升了2個(gè)數(shù)量級(jí)。在拓?fù)涔庾訉W(xué)領(lǐng)域，太極-II能夠自動(dòng)搜索非厄米奇異點(diǎn)，為解析復(fù)雜拓?fù)湎到y(tǒng)提供了新思路。

　　太極-II的問(wèn)世，進(jìn)一步揭示了智能光計(jì)算的巨大潛力。太極I和II分別實(shí)現(xiàn)了高能效AI推理與訓(xùn)練，共同構(gòu)成了大規(guī)模智能計(jì)算的完整生命周期。方璐表示，太極系列將為未來(lái)AI大模型注入算力發(fā)展的新動(dòng)力，構(gòu)建光算力的新基座。

　　目前，研究團(tuán)隊(duì)正積極推進(jìn)智能光芯片產(chǎn)業(yè)化，在多種端側(cè)智能系統(tǒng)上進(jìn)行了應(yīng)用部署。預(yù)計(jì)智能光計(jì)算平臺(tái)將以更低的資源消耗和更小的邊際成本，為人工智能大模型、通用人工智能、復(fù)雜智能系統(tǒng)的高速高能效計(jì)算開(kāi)辟新路徑。

以上就是大學(xué)路小編為大家?guī)?lái)的內(nèi)容了，想要了解更多相關(guān)信息，請(qǐng)關(guān)注大學(xué)路。