3D打印的深度神經(jīng)網(wǎng)絡(luò)，光速執(zhí)行AI運(yùn)算

大腦中神經(jīng)元之間的信號(hào)傳播速度大約是 100 米每秒，而光的傳播速度是 30 萬(wàn)千米每秒，如果神經(jīng)元信號(hào)也是光速傳播的呢？來(lái)自加州大學(xué)洛杉磯分校（UCLA）的研究人員利用 3D 打印技術(shù)打印出了固態(tài)的神經(jīng)網(wǎng)絡(luò)，并且利用層級(jí)傳播的光衍射來(lái)執(zhí)行計(jì)算，實(shí)現(xiàn)了手寫數(shù)字的圖像識(shí)別，相關(guān)成果已發(fā)表在《science》雜志上。

這一想法看似新奇，其實(shí)也很自然。神經(jīng)網(wǎng)絡(luò)中執(zhí)行的是線性運(yùn)算，恰好和光衍射的線性相互作用對(duì)應(yīng)，神經(jīng)元的權(quán)重、激活值概念也能和光的振幅、相位對(duì)應(yīng)（可調(diào)）。此外，固態(tài)光衍射計(jì)算還具有能耗小、無(wú)發(fā)熱、光速執(zhí)行（盡管傳統(tǒng)計(jì)算機(jī)電路中的電場(chǎng)傳播也是光速的，但并未直接對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)的計(jì)算過(guò)程）等優(yōu)點(diǎn)。該研究方向尚處于起步階段，如果能充分利用其優(yōu)勢(shì)，也許會(huì)有很廣闊的應(yīng)用前景。

如今，機(jī)器學(xué)習(xí)無(wú)處不在，但多數(shù)機(jī)器學(xué)習(xí)系統(tǒng)是隱形的：它們?cè)凇负谙洹估飪?yōu)化音頻或識(shí)別圖像中的人臉。但最近 UCLA 的研究人員研發(fā)出了一個(gè) 3D 打印 AI 分析系統(tǒng)。這一系統(tǒng)不僅看得見(jiàn)，還摸得著。與以往通過(guò)調(diào)節(jié)數(shù)字進(jìn)行分析的系統(tǒng)不同，該系統(tǒng)通過(guò)光線的衍射來(lái)分析人工智能。這一新奇、獨(dú)特的研究成果表明：這些「人工智能」系統(tǒng)可以看起來(lái)非常簡(jiǎn)單。

我們通常將機(jī)器學(xué)習(xí)系統(tǒng)看作人工智能的一種形式，其核心是對(duì)一組數(shù)據(jù)進(jìn)行的一系列運(yùn)算，每一次運(yùn)算都基于上一次運(yùn)算或饋送到一個(gè)循環(huán)中。運(yùn)算本身并不太復(fù)雜——盡管也沒(méi)有簡(jiǎn)單到可以用紙筆計(jì)算的程度。最終，這些簡(jiǎn)單的數(shù)學(xué)運(yùn)算會(huì)得出一個(gè)概率，即輸入的數(shù)據(jù)與系統(tǒng)「學(xué)會(huì)」識(shí)別的各種模式相匹配。

通常，機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行每一次參數(shù)更新或推斷時(shí)所需的運(yùn)算需要在 CPU 或 GPU 上進(jìn)行。由于當(dāng)前的深度學(xué)習(xí)需要大量并行計(jì)算，GPU 成了更廣泛的選擇。但即使最先進(jìn)的 GPU 也是用硅和銅制成的，信息需要沿著錯(cuò)綜復(fù)雜的電路以脈沖的形式傳播。這就意味著，不論是執(zhí)行新的計(jì)算還是重復(fù)的計(jì)算，傳統(tǒng) GPU 都會(huì)產(chǎn)生能耗。

因此，當(dāng)深度學(xué)習(xí)中的這些「層」已經(jīng)完成訓(xùn)練，并且所有參數(shù)的值都確定下來(lái)，它還會(huì)一次次地重復(fù)計(jì)算與耗能。這意味著 3D 打印 AI 分析系統(tǒng)在訓(xùn)練完它的「層」后，還可以被優(yōu)化，不會(huì)占用太大空間或 CPU 功率。來(lái)自 UCLA 的研究人員表示，它確實(shí)可以固化，這些層本身就是由透明材料制成的 3D 打印層，印有復(fù)雜的衍射圖案，這些圖案可以對(duì)光線進(jìn)行處理。

如果這樣描述讓你覺(jué)得有點(diǎn)頭疼，不妨想想機(jī)械計(jì)算器。如今，數(shù)字計(jì)算都是在計(jì)算機(jī)邏輯中以數(shù)字形式完成的。但是過(guò)去，計(jì)算器需要移動(dòng)實(shí)際的機(jī)械零件才能進(jìn)行計(jì)算——數(shù)字加到 10 都會(huì)造成零件位置變換。從某種程度上來(lái)說(shuō)，這種「衍射深度神經(jīng)網(wǎng)絡(luò)」與之相仿：它使用并操縱數(shù)字的物理表示，而不是電子表示。這就代表著，如果將模型的預(yù)測(cè)過(guò)程固化為物理表示，那么它在實(shí)際預(yù)測(cè)過(guò)程中就能大大降低能耗。

正如研究人員所說(shuō)：

給定層上的每個(gè)點(diǎn)傳輸或反射入射波，該入射波相當(dāng)于通過(guò)光學(xué)衍射連接到下一層其它神經(jīng)元的人工神經(jīng)元。通過(guò)改變相位和振幅，每個(gè)「神經(jīng)元」都是可調(diào)的。

「我們的全光深度學(xué)習(xí)框架能夠以光速執(zhí)行各種復(fù)雜任務(wù)，基于計(jì)算機(jī)的神經(jīng)網(wǎng)絡(luò)也可以實(shí)現(xiàn)這些任務(wù)?！寡芯咳藛T在論文中描述其系統(tǒng)時(shí)寫道。

為了證明這一點(diǎn)，他們訓(xùn)練了一個(gè)深度學(xué)習(xí)模型來(lái)識(shí)別寫手寫數(shù)字。完成之后，他們會(huì)把矩陣數(shù)學(xué)層轉(zhuǎn)化為一系列的光學(xué)變換。例如，一個(gè)層可能會(huì)通過(guò)將兩者的光線重新聚焦到下一層的單個(gè)區(qū)域來(lái)增加值——實(shí)際計(jì)算比這要復(fù)雜得多，此處只做概述。

通過(guò)在印刷版上布置數(shù)百萬(wàn)個(gè)微型轉(zhuǎn)換，光從一端輸入并從另一個(gè)結(jié)構(gòu)中輸出，因此系統(tǒng)能以超過(guò) 90% 的準(zhǔn)確率判斷它是否為 1、2 和 3 等。

讀者可能會(huì)疑問(wèn)這到底有什么用，因?yàn)樽詈?jiǎn)單的三層感知機(jī)在識(shí)別手寫數(shù)字時(shí)都能輕松達(dá)到 95% 以上的準(zhǔn)確率，而卷積網(wǎng)絡(luò)可以實(shí)現(xiàn) 99% 以上的準(zhǔn)確率。這一形式目前確實(shí)沒(méi)什么實(shí)際用處，但是神經(jīng)網(wǎng)絡(luò)是非常靈活的工具，系統(tǒng)完全有可能識(shí)別字母而不是僅限于數(shù)字。因此可以令光學(xué)字符識(shí)別系統(tǒng)在硬件中運(yùn)行，且基本上不需要能耗或計(jì)算。

真正的局限在于制造工藝：打造一個(gè)能實(shí)現(xiàn)按需處理任務(wù)的超高精度衍射板非常困難。畢竟，如果需要精確到小數(shù)點(diǎn)后七位，而印刷版卻只能精確到第三位的話，那就相當(dāng)麻煩了。

這只是一個(gè)概念的證明——對(duì)大型數(shù)字識(shí)別機(jī)器并沒(méi)有迫切需求——但這個(gè)想法十分有趣。該想法可能會(huì)對(duì)攝像機(jī)和機(jī)器學(xué)習(xí)技術(shù)產(chǎn)生影響——在物質(zhì)世界而非虛擬世界里構(gòu)造光與數(shù)據(jù)。看起來(lái)像是倒退，但也許只是鐘擺在向后擺動(dòng)。

論文：All-optical machine learning using diffractive deep neural networks（利用衍射深度神經(jīng)網(wǎng)絡(luò)的全光機(jī)器學(xué)習(xí)）

論文地址：http://science.sciencemag.org/content/early/2018/07/25/science.aat8084

摘要：深度學(xué)習(xí)已經(jīng)提高了我們使用計(jì)算機(jī)執(zhí)行高級(jí)推理任務(wù)的能力。我們?cè)诒疚闹幸肓艘环N物理機(jī)制來(lái)執(zhí)行機(jī)器學(xué)習(xí)，這是一種全光衍射深度神經(jīng)網(wǎng)絡(luò)（D^2NN）架構(gòu)，可以按照基于深度學(xué)習(xí)設(shè)計(jì)的、集體工作的被動(dòng)衍射層來(lái)實(shí)現(xiàn)多種函數(shù)。我們構(gòu)建了 3D 打印的 D^2NN 來(lái)實(shí)現(xiàn)手寫數(shù)字和時(shí)尚產(chǎn)品的圖像分類，以及成像鏡頭在太赫茲光譜的函數(shù)。我們的全光深度學(xué)習(xí)框架能以光速計(jì)算多種基于傳統(tǒng)計(jì)算機(jī)的神經(jīng)網(wǎng)絡(luò)也可以實(shí)現(xiàn)的復(fù)雜函數(shù)，并將在全光圖像分析、特征檢測(cè)和目標(biāo)分類中開(kāi)發(fā)新的應(yīng)用，此外它還允許設(shè)計(jì)新的攝像頭和光學(xué)器件，以利用 D^2NN 執(zhí)行獨(dú)特的任務(wù)。

圖 1：衍射深度神經(jīng)網(wǎng)絡(luò)（D^2NN）架構(gòu)。

圖 2：3D 打印的衍射深度神經(jīng)網(wǎng)絡(luò)測(cè)試實(shí)驗(yàn)。

圖 3：衍射深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)手寫數(shù)字識(shí)別。

本文轉(zhuǎn)載自：中國(guó)3D打印網(wǎng) 版權(quán)歸原作者所有