萊斯大學的計算機科學家已經克服了新興人工智能產業的一個主要障礙，表明如果沒有專門的加速硬件，如圖形處理單元(GPU)，就有可能加快深度學習技術。

來自賴斯的計算機科學家，在英特爾的合作者的支持下，今天將在奧斯汀會議中心展示他們的結果，作為機器學習系統會議MLSys的一部分。

許多公司正在大量投資于GPU和其他專門硬件，以實現深度學習，這是一種強大的人工智能形式，背后的數字助理，如Alexa和Siri，面部識別，產品推薦系統和其他技術。 例如，該行業金標TeslaV100TensorCore GPU的制造商Nvidia最近報告說，其第四季度收入比上一年增加了41%。

賴斯的研究人員創造了一個節省成本的替代GPU，一種稱為“次線性深度學習引擎”(SLIDE)的算法，它使用通用的中央處理單元(CPU)，沒有專門的加速硬件。

賴斯布朗工程學院的助理教授Anshumali Shrivastava說：“我們的測試表明，SLIDE是在CPU上進行深度學習的第一個智能算法實現，在具有大型全連接架構的行業規模推薦數據集上，它可以優于GPU硬件加速。

幻燈片不需要GPU，因為它需要一種根本不同的深度學習方法。 深度神經網絡的標準“反向傳播”訓練技術需要矩陣乘法，這是GPU的理想工作負載。 使用SLIDE，Shrivastava，Chen和Medini將神經網絡訓練變成了一個搜索問題，可以用哈希表來解決。

與反向傳播訓練相比，這從根本上減少了SLIDE的計算開銷.. 例如，一個頂級的GPU平臺，如亞馬遜、谷歌和其他為基于云的深度學習服務提供的平臺，有八個特斯拉V100s，成本約$10萬美元，Shrivastava說。

我們在實驗室里有一個，在我們的測試用例中，我們使用了一個非常適合V100的工作負載，一個在適合GPU內存的大型、完全連接的網絡中具有超過1億個參數的工作負載。 “我們用谷歌的TensorFlow這個最好的軟件包來訓練它，花了3個半小時來訓練。

Shrivastava說：“我們的新算法可以在一小時內完成訓練，而不是在GPU上，而是在44核Xeon級CPU上。”

深度學習網絡受到生物學的啟發，它們的中心特征，人工神經元，是可以學習執行特定任務的小型計算機代碼。 一個深度學習網絡可以包含數百萬甚至數十億的人工神經元，它們可以一起工作，僅僅通過研究大量數據就可以學會做出人類層面的專家決策。 例如，如果一個深度神經網絡被訓練來識別照片中的物體，它將使用不同的神經元來識別貓的照片，而不是識別校車。

“你不需要在每個病例上訓練所有的神經元，”梅迪尼說。 “我們想，‘如果我們只想選擇相關的神經元，那就是一個搜索問題。’ 因此，在算法上，我們的想法是使用局部敏感散列來擺脫矩陣乘法。

哈希是20世紀90年代為互聯網搜索而發明的一種數據索引方法。 它使用數字方法來編碼大量的信息，比如整個網頁或一本書的章節，作為一串數字，稱為散列。 哈希表是可以很快搜索的哈希表。

陳說：“在TensorFlow或Py Torch上實現我們的算法是沒有意義的，因為他們想做的第一件事就是把你正在做的任何事情轉換成矩陣乘法問題。” “這正是我們想要擺脫的。 所以我們從頭開始編寫自己的C代碼。“

Shrivastava說，與反向傳播相比，SLIDE最大的優勢在于它是數據并行的。

他說：“數據并行，我的意思是，如果我有兩個數據實例，我想訓練，假設一個是貓的圖像，另一個是公共汽車的圖像，它們可能會激活不同的神經元，而幻燈片可以獨立更新或訓練這兩個。” “這是對CPU并行性的更好利用。

與GPU相比，另一方面是我們需要很大的記憶力。 “主存儲器中有一個緩存層次結構，如果您不小心，您可能會遇到一個名為緩存重擊的問題，在這個問題中，您會得到很多緩存丟失。”

Shrivastava說，他的小組第一次使用SLIDE的實驗產生了顯著的緩存沖擊，但他們的訓練時間仍然與GPU訓練時間相當或比GPU訓練時間更快。 因此，他、陳和梅迪尼在2019年3月在ar Xiv上發布了初步結果，并將他們的代碼上傳到GitHub。 幾周后，他們被英特爾聯系。

他說：“我們的英特爾合作者認識到緩存問題。 “他們告訴我們，他們可以和我們合作，使火車更快，他們是對的。 在他們的幫助下，我們的成績提高了大約50%。”

Shrivastava說，SLIDE尚未接近其潛力。

他說：“我們剛剛擦破了表面。 “我們還有很多事情要做。 例如，我們沒有在CPU中使用矢量化或內置加速器，比如英特爾深度學習Boost。 我們還可以用很多其他的技巧來使這種速度更快。”

Shrivastava說，SLIDE很重要，因為它顯示了實現深度學習的其他方法。

陳說：“整個信息是，‘讓我們不要被乘法矩陣和GPU內存所阻礙’。 “我們可能是第一個擊敗GPU的算法，但我希望這不是最后一個。 這個領域需要新的想法，這是MLSys的一大部分。”