架構(gòu)探索和RTL綜合

在芯片設(shè)計中，另一個比較耗時的方面是要清楚你究竟想要構(gòu)建何種設(shè)計。此時你需要做一些架構(gòu)探索（architectural exploration），然后做RTL綜合。目前計算機架構(gòu)師和其他芯片設(shè)計師等具有不同專業(yè)知識的人花費大量時間來構(gòu)建他們真正想要的設(shè)計，然后驗證、布局和布線，那么我們可以學習自動做架構(gòu)探索和綜合嗎？

現(xiàn)在我們正在研究的就是如何為已知的問題實行架構(gòu)探索。如果我們有一個機器學習模型，并且想要設(shè)計一個定制芯片來運行這個模型，這個過程能否實現(xiàn)自動化，并提出真正擅長運行該特定模型的優(yōu)秀設(shè)計。

關(guān)于這項工作，我們在arXiv發(fā)表了論文《A Full-stack Accelerator Search Technique for Vision Applications》，它著眼于很多不同的計算機視覺模型。另外一個進階版本的論文被ASPLOS大會接收了《A Full-stack Search Technique for Domain Optimized Deep Learning Accelerators》。

這里要解決的問題是：當你設(shè)計一個機器學習加速器時，需要考慮你想在哪個加速器上運行什么樣的機器學習模型，而且這個領(lǐng)域的變化非常之快。

上圖中的紅線是指引入的不同計算機視覺模型，以及通過這些新模型實現(xiàn)的ImageNet識別準確率提升。

但問題是，如果你在2016年想要嘗試設(shè)計一個機器學習加速器，那么你需要兩年時間來設(shè)計芯片，而設(shè)計出來的芯片三年后就會被淘汰。你在2016年做的決定將會影響計算，要保證在2018年-2021年高效運行，這真的很難。比如在2016年推出了Inception-v3模型，但此后計算機視覺模型又有四方面的大改進。

因此，如果我們能使設(shè)計周期變得更短，那么也許單個工作負載加速器能變得可用。如果我們能在諸多流程中實現(xiàn)自動化，那么我們或許能夠得到正反饋循環(huán)，即：縮短機器學習加速器的上市時間，使其能更適合我們當下想要運行的模型，而不用等到五年后。

4用機器學習探索設(shè)計空間

實際上，我們可以使用機器學習來探索設(shè)計空間。有兩個因素影響加速器性能，一是設(shè)計中內(nèi)置的硬件數(shù)據(jù)通道，二是工作負載如何通過編譯器而不是更高級別的軟件映射到該數(shù)據(jù)通道。通常，設(shè)計空間探索實際上只考慮當前編譯器優(yōu)化的數(shù)據(jù)通道，而不是協(xié)同設(shè)計的編譯器優(yōu)化和優(yōu)化數(shù)據(jù)通道時可能會做的事。

因此，我們能否同時優(yōu)化數(shù)據(jù)通道、調(diào)度（schedule）和一些編譯器決策，并創(chuàng)建一個搜索空間，探索出你希望做出的共同設(shè)計的決策。這是一種覆蓋計算和內(nèi)存瓶頸的自動搜索技術(shù)，探索不同操作之間的數(shù)據(jù)通道映射和融合。通常，你希望能夠?qū)⑹挛锶诤显谝黄穑苊鈨?nèi)存?zhèn)鬏數(shù)拿看蝺?nèi)存負載中執(zhí)行更多操作。

根本上說，我們在機器學習加速器中可能做出的設(shè)計決策創(chuàng)建了一種更高級別的元搜索空間，因此，可以探索乘法的脈沖列陣（systolic array）在一維或二維情況下的大小，以及不同的緩存大小等等。

如前所述，考慮編譯器優(yōu)化與硬件設(shè)計的協(xié)同設(shè)計也很重要，因為如果默認編譯器不會更改，就無法真正利用處理器中底層設(shè)計單元的變化。實際上，不一定要考慮特定設(shè)計的所有效果和影響。

接下來看看這種方式產(chǎn)生的一系列結(jié)果，將這些結(jié)果與TPUv3芯片的baseline（上圖藍條）進行比較。實際上這是假定型TPUv3芯片，其中模擬器已停止了運行。我們已經(jīng)將其縮小到了sub-10納米工藝。我們還將研究TPUv3的軟件效用，以及共同探索在設(shè)計空間中的編譯器優(yōu)化。

紅條和藍條表示的內(nèi)容是一致的，但一些探索過的編譯器優(yōu)化不一定在藍條中得以體現(xiàn)，而這里的綠條則表示的是為單一計算機視覺模型定制的假定型設(shè)計。EfficientNet-B0...B7表示相關(guān)但規(guī)模不同的計算機視覺模型。與藍條baseline相比，（綠條的）Perf/TDP的改進大約在3到6倍之間。

那么除EfficientNet-B0...B7外，其他模型的情況如何？在此前所述的ASPLOS論文中提出更廣泛的模型集，尤其是那些計算機視覺以外的BERT-seq 128和BERT-seq 1024等NLP模型。

實際上，定制化芯片不只是適用于單個機器學習模型，而是使其適用于一組機器學習模型。你可能不想使你的加速器芯片設(shè)計僅針對某一項任務，而是想涵蓋你所關(guān)注的那一類任務。

上圖的黃條代表為五種不同模型設(shè)計的定制化芯片，而我們想要一個能同時運行這五種模型（紅色箭頭所指）的芯片，然后就能看出其性能能達到何種程度?？上驳氖?，從中可以看到，黃條（單一負載）并不比綠條（多負載）的性能低多少。所以你實際上可以得到一個非常適合這五種模型的加速器設(shè)計，這就好比你對其中任何一個模型都進行了優(yōu)化。它的效果可能不是最好的，但已經(jīng)很不錯了。

而且，如果你關(guān)注的點是性能而非Perf/TDP，得到的結(jié)果實際上會更好。所以結(jié)果如何取決于你關(guān)注的是什么，是絕對性能還是每瓦性能？在Perf//TDP指標中，性能結(jié)果甚至提升了2.6到8.8倍，而非Perf/TDP指標下的1.8到6.4倍。

因此，我們能夠針對特定工作負載進行定制和優(yōu)化，而不用構(gòu)建更多通用設(shè)備。我認為這將會帶來顯著改進。如果能縮短設(shè)計周期，那么我們將能以一種更自動化的方式用定制化芯片解決更多問題。

當前的一大挑戰(zhàn)是，如果了解下為新問題構(gòu)建新設(shè)計的固定成本，就會發(fā)現(xiàn)固定成本還很高，因此不能廣泛用于解決更多問題。但如果我們能大幅降低這些固定成本，那么它的應用面將會越來越廣。

5

總結(jié)

我認為，在計算機芯片的設(shè)計過程中，機器學習將大有作為。

如果機器學習在合適的地方得以正確應用，那么在學習方法（learning approaches）和機器學習計算的加持下，芯片設(shè)計周期能不能縮短，只需要幾個人花費幾周甚至幾天完成呢？我們可以用強化學習使得與設(shè)計周期有關(guān)的流程實現(xiàn)自動化，我認為這是一個很好的發(fā)展方向。

目前人們正通過一組或多組實驗來進行測驗，并基于其結(jié)果來決定后續(xù)研發(fā)方向。如果這個實驗過程能實現(xiàn)自動化，并且能獲取滿足該實驗正常運行的各項指標，那么我們完全有能力實現(xiàn)設(shè)計周期自動化，這也是縮短芯片設(shè)計周期的一個重要方面。

這是本次演講的部分參考文獻以及相關(guān)論文，主要涉及機器學習在芯片設(shè)計和計算機系統(tǒng)優(yōu)化中的應用。

機器學習正在很大程度上改變?nèi)藗儗τ嬎愕目捶?。我們想要的是一個可以從數(shù)據(jù)和現(xiàn)實世界中學習的系統(tǒng)，其計算方法與傳統(tǒng)的手工編碼系統(tǒng)完全不同，這意味著我們要采取新方式，才能創(chuàng)建出我們想要的那種計算設(shè)備和芯片。同時，機器學習也對芯片種類和芯片設(shè)計的方法論產(chǎn)生了影響。

我認為，加速定制化芯片設(shè)計過程中應該將機器學習視為一個非常重要的工具。那么，到底能否將芯片設(shè)計周期縮短到幾天或者幾周呢？這是可能的，我們都應該為之奮斗。