NTT og University of Tokyo udvikler verdens første optiske computer-AI ved hjælp af en algoritme inspireret af den menneskelige hjerne

Samarbejde fremmer den praktiske anvendelse af laveffekt, højhastigheds AI baseret på optisk databehandling

TOKYO– (FORRETNINGSLEDNING) -#TechforGood—NTT Corporation (Præsident og administrerende direktør: Akira Shimada, "NTT") og University of Tokyo (Bunkyo-ku, Tokyo, præsident: Teruo Fujii) har udtænkt en ny læringsalgoritme inspireret af hjernens informationsbehandling, der er velegnet til flerlags kunstige neurale netværk (DNN) ved hjælp af analoge operationer. Dette gennembrud vil føre til en reduktion i strømforbrug og beregningstid for AI. Resultaterne af denne udvikling blev offentliggjort i det britiske videnskabelige tidsskrift Nature Communications i december 26^th.

Forskere opnåede verdens første demonstration af effektivt udført optisk DNN-indlæring ved at anvende algoritmen til en DNN, der bruger optisk analog beregning, som forventes at muliggøre højhastigheds-, lav-effekt maskinlæringsenheder. Derudover har de opnået verdens højeste ydeevne af et flerlags kunstigt neuralt netværk, der bruger analoge operationer.

Tidligere blev high-load læringsberegninger udført ved digitale beregninger, men dette resultat beviser, at det er muligt at forbedre effektiviteten af ​​læringsdelen ved at bruge analoge beregninger. I Deep Neural Network (DNN) teknologi beregnes et tilbagevendende neuralt netværk kaldet deep reservoir computing ved at antage en optisk puls som en neuron og en ikke-lineær optisk ring som et neuralt netværk med rekursive forbindelser. Ved at genindlæse udgangssignalet til det samme optiske kredsløb bliver netværket kunstigt uddybet.

DNN-teknologi muliggør avanceret kunstig intelligens (AI) såsom maskinoversættelse, autonom kørsel og robotteknologi. I øjeblikket stiger den nødvendige effekt og beregningstid med en hastighed, der overstiger væksten i digitale computeres ydeevne. DNN-teknologi, som bruger analoge signalberegninger (analoge operationer), forventes at være en metode til at realisere højeffektive og højhastighedsberegninger svarende til hjernens neurale netværk. Samarbejdet mellem NTT og University of Tokyo har udviklet en ny algoritme, der er velegnet til en analog operation DNN, der ikke påtager sig forståelsen af ​​de indlæringsparametre, der indgår i DNN.

Den foreslåede metode lærer ved at ændre indlæringsparametrene baseret på netværkets sidste lag og den ikke-lineære tilfældige transformation af fejlen i det ønskede udgangssignal (fejlsignal). Denne beregning gør det lettere at implementere analoge beregninger i ting såsom optiske kredsløb. Den kan også bruges ikke kun som en model for fysisk implementering, men også som en banebrydende model, der bruges i applikationer som maskinoversættelse og forskellige AI-modeller, herunder DNN-modellen. Denne forskning forventes at bidrage til at løse nye problemer forbundet med AI computing, herunder strømforbrug og øget beregningstid.

Ud over at undersøge anvendeligheden af ​​den metode, der foreslås i denne artikel på specifikke problemer, vil NTT også fremme storskala- og lilleskala-integration af optisk hardware med det formål at etablere en højhastigheds-, lav-effekt optisk computerplatform til fremtidig optisk netværk.

Støtte til denne forskning:

JST/CREST støttede en del af disse forskningsresultater.

Magasinets udgivelse:

Magazine: Nature Communications (Online version: 26. december)

Artikeltitel: Fysisk dyb læring med biologisk inspireret træningsmetode: gradientfri tilgang til fysisk hardware

Forfattere: Mitsumasa Nakajima, Katsuma Inoue, Kenji Tanaka, Yasuo Kuniyoshi, Toshikazu Hashimoto og Kohei Nakajima

Forklaring af terminologi:

1. Optisk kredsløb: Et kredsløb, hvor silicium eller kvarts optiske bølgeledere er integreret på en silicium wafer ved hjælp af elektronisk kredsløb fremstillingsteknologi. I kommunikation udføres forgrening og sammensmeltning af optiske kommunikationsveje ved optisk interferens, bølgelængdemultipleksing/demultipleksing og lignende.
2. Backpropagation (BP) metode: Den mest anvendte læringsalgoritme i deep learning. Gradienter af vægte (parametre) i netværket opnås, mens fejlsignalet udbredes bagud, og vægtene opdateres, så fejlen bliver mindre. Da tilbagepropagationsprocessen kræver transponering af netværksmodellens vægtmatrix og ikke-lineær differentiering, er det vanskeligt at implementere på analoge kredsløb, herunder hjernen af ​​en levende organisme.
3. Analog computing: En computer, der udtrykker virkelige værdier bruger fysiske størrelser såsom lysets intensitet og fase og retningen og intensiteten af ​​magnetiske spins og udfører beregninger ved at ændre disse fysiske størrelser i henhold til fysikkens love.
4. Direkte feedback alignment (DFA) metode: En metode til pseudo-beregning af fejlsignalet for hvert lag ved at udføre en ikke-lineær tilfældig transformation på det endelige lags fejlsignal. Da det ikke kræver differentiel information om netværksmodellen og kun kan beregnes ved parallel tilfældig transformation, er det kompatibelt med analog beregning.
5. Reservoir computing: En type tilbagevendende neurale netværk med tilbagevendende forbindelser i det skjulte lag. Det er kendetegnet ved tilfældigt fastgørelse af forbindelser i et mellemlag kaldet et reservoirlag. I deep reservoir computing udføres informationsbehandling ved at forbinde reservoirlag i flere lag.

NTT og NTT-logoet er registrerede varemærker eller varemærker tilhørende NIPPON TELEGRAPH AND TELEPHONE CORPORATION og/eller dets datterselskaber. Alle andre refererede produktnavne er varemærker tilhørende deres respektive ejere. © 2023 NIPPON TELEGRAPH AND TELEPHONE CORPORATION

Kontakt os

Stephen Russell

Wireside kommunikation®

Til NTT

+ 1-804-362-7484

[e-mail beskyttet]