.png)
4月12日，一篇題為“Large-scale neuromorphic optoelectronic computing with a reconfigurable diffractive processing unit”的論文登上Nature子刊《Nature Photonics》。
.png)
論文是由中國工程院院士戴瓊海教授團隊撰寫，第一作者是清華大學博士研究生周天貺。
該工作的主要研究內容是：提出了一種光電可重構計算模式，通過構造一個衍射處理器(DPU)，它可以有效地支持不同的神經網絡，并實現數百萬個神經元的高模型復雜度。
在論文中，作者展示了如何對DPU的重新配置，從而實現各種衍射前饋和循環神經網絡，并設計了一種新型的自適應訓練方法，能夠規避系統缺陷。
作者將訓練后的神經網絡進行測試，測試結果是：在手寫數字圖像和人類動作視頻分類基準數據集上，其精度與電子計算方法相當。
對此，有人評價，這篇論文所提出的可重構DPU，是向高性能神經形態光電計算處理器邁出的重要一步。
1、主要思想
在過去的十年中，由電子驅動的計算處理器產生了巨大影響，在通用CPU“身上”我們見證了各種神經計算體系結構的應用，例如卷積神經網絡(CNNs)、遞歸神經網絡(RNNs）。然而，由于摩爾定律的限制，電子硬件的性能即將觸摸到“天花板”。因此，開發下一代計算方式勢在必行。
光學計算的原理是使用光子代替電子進行計算，并能克服電子學的固有限制，將能效、處理速度和計算吞吐量提高幾個數量級。
已經有研究員利用光學計算的特性，構建專用光學處理器，并在基本數學和信號處理方面，所表現出的性能遠遠超過現在的電子處理器。
而在人工智能領域，人工神經網絡(ANN)是最有前途的光計算模型之一，利用光電子器件和光傳播的性質可以有效地實現神經元的功能。
但是，現有的光學AI加速器只能為特定神經網絡體系結構或特定任務定制單一功能。換句話說，對于不同任務的不同AI算法，現在的“設備”無能為力。此外，目前光神經網絡的模型復雜度和實驗性能都較低，導致網絡性能(如分類精度)與最先進的電子神經網絡相比存在較大差距。
究其原因，主要是由于光學網絡設計空間的靈活性有限，難以集成理想的非線性運算，難以靈活控制復雜的數據流。
所以，作者提出了一種用于大規模神經形態光電計算的可重構DPU，可以通過編程改變功能，從而構建不同類型的人工神經網絡架構。此外，還配備了極高數據吞吐量的光學調制器和光電探測器。
在用光電器件實際實現所設計的模型的過程中，為了解決不同誤差源(如對準誤差和非理想器件特性)造成的模型偏差，作者開發了一種自適應訓練方法。
2、主要方法與實驗結果
.png)
DPU的原理和光電實現如上圖所示。DPU是一個由大規模衍射神經元和加權光學互連（weighted optical interconnections）組成的光電神經形態處理器。它是一個基本的構建塊，可以編程，建立各種類型的人工神經網絡，具有很高的模型復雜性和準確性。
利用信息編碼模塊將單位輸入數據量化并電光轉換為復值光場，在幅度或相位分量上進行編碼。不同的輸入節點通過光衍射連接物理地連接到各個輸出神經元，其中控制連接強度的突觸權重由波前的衍射調制決定。
每個衍射光電神經元執行其加權輸入的光場求和，并通過在光電轉換期間自然出現的計算光場上應用復激活函數來生成單位輸出。
作者采用具有高數據吞吐量（每秒千兆位）的可編程光電器件，來支撐DPU實現高速神經網絡配置和視頻率推斷能力。
.png)
圖注：系統的原理圖和實驗設置
在這項工作中，系統被設計用于處理饋入圖像和視頻的大規模視覺信號。因此，采用數字微鏡器件(DMD)和空間光調制器(SLM)作為光調制器實現輸入節點，采用互補金屬氧化物半導體(CMOS)傳感器作為光電探測器實現光電神經元。
.png)
通過控制和緩沖單元的大規模并行光電數據流，DPU可以被暫時多路復用和編程，從而定制不同類型的ANN結構(如上圖所示)。由于幾乎所有的計算操作都是光學完成的，因此與前沿的GPU處理器相比，光電AI架構顯著提高了計算速度和系統能效。
.png)
圖注：自適應訓練方法
此外，作者通過構建一個三層光電衍射深度神經網絡(D2NN)來驗證所提出的自適應訓練方法，并用MNIST數據集進行測試。
.png)
模型在MNIST訓練集上訓練之后，測試集中的10,000個數字圖像上獲得了97.6%的盲測正確率。另外，在沒有自適應訓練的情況下，由于系統誤差的層層累積，將預先訓練好的模型直接遷移到我們的光電系統中，識別率急劇下降到63.9%。
另外一個測試是，通過在兩個基準數據庫（Weizmann41和KTH42數據庫）上使用序列精度和動作精度的度量來評估所構建的D-RNN，目的是用于人類動作識別任務。
在消融和性能分析之后，對于具有147萬個光電神經元的Weizmann和KTH數據庫，網絡序列長度分別被設置為3和5。通過配置DPU讀出層對D-RNN結構進行了評估，然后對D-RNN結構進行了Silico預訓練。
實驗結果是，這兩個數據庫的盲測序準確率分別為88.9%和90.5%，對應于兩個模型的動作準確率分別為100%和96.3%。
為了在實驗上實現該模型，由于D-RNN的循環連接特性，作者通過微調輸出層的調制系數來執行自適應訓練。
.png)
上圖展示了自適應訓練后的存儲器、讀入和讀出DPU層的設計調制系數，其中上行和下行分別對應于Weizmann和第k個數據庫的模型。
與未進行自適應訓練的實驗結果相比，自適應訓練使Weizmann數據庫的實驗序列準確率從51.0%提高到82.9%，實驗動作準確率從56.7%提高到96.7%。
同樣，經過自適應訓練后，實驗序列準確率從52.6%提高到85.4%，動作準確率從53.7%提高到94.4%。
.png)
圖注：展開的D-RNN的體系結構
綜上，通過傳輸經訓練的D-RNN隱藏層并使用低復雜度的電子讀出層來代替DPU讀出層，可以進一步提高D-RNN的識別準確性和穩健性，形成D-RNN++體系結構。
.png)
作者評估了D-RNN++相對于讀出節點數量的實驗序列和動作精度，如上圖所示。實驗結果表明，D-RNN++在Weizmann和KTH(First Scene)數據庫的最優電子讀出節點數（electronic read-out nodes ）分別為2500和96.3%的情況下，實驗動作準確率分別達到100%和96.3%。
此外，D-RNN++對Weizmann和KTH(First Scene)數據庫進行分類的實驗動作準確率達到了與最先進的電子計算方法相當的性能，甚至超過了這兩種方法的準確率，后者的準確率分別為100%和96.0%。
綜上所述，研究員在實驗中展示了一種可重構的光電計算處理器，即DPU，它可以編程以適應不同類型的人工神經網絡，以實現大規模高性能的光學神經信息處理。通過有效地設計光電計算系統來融合光學和電子的互補優勢。
戴海瓊團隊預計，其所提出的方法將加速開發更強大的光學AI處理器，并作為現代計算的關鍵支持，邁向人工智能的新時代。
戴瓊海院士簡介：
戴瓊海，自動控制學家，中國工程院院士，中國自動化學會會士、副理事長，清華大學自動化系教授，清華大學生命科學學院兼職教授，清華大學信息科學技術學院院長。主持承擔了國家科技部重大基礎研究973項目和國家基金委重大儀器項目，在立體視覺、三維重建和計算攝像儀器等方面做了基礎性和開拓性工作。致力于開展多維多尺度計算攝像儀器的研究，旨在提供從亞細胞、組織到器官的多尺度動態觀測數據，試圖突破百萬級腦神經連接的觀測，揭示神經系統結構和功能等腦科學規律，為創建新一代人工智能提供支撐。
來源：AI科技評論
