在這個故事中，我想介紹兩件事。第一個是小型機器學習或小型ML的概念。第二個是初創(chuàng)公司，它是試圖圍繞該概念建立社區(qū)的眾多企業(yè)之一。讓我們首先解決微小的ML。

兩個月前，我訪問Microsoft并與Microsoft Research的首席軟件工程師Byron Changuion聊天之后，不知不覺中寫下了關(guān)于這個想法的文章。他正在為機器學習軟件構(gòu)建編譯器，以便可以在微處理器上運行。我很著迷，因為大多數(shù)公司都在努力制造低功率芯片，這些芯片可以在較小的甚至電池供電的設(shè)備上執(zhí)行機器學習推理。

但是沒有人真正提倡對像微控制器這樣的東西進行推理的想法。AI涉及兩個階段：訓練模型(該模型需要大量的訓練數(shù)據(jù)集，并通過數(shù)據(jù)中心中的大型GPU或另一種類型的處理器來運行它們)和推理。推論是針對訓練后的模型運行新數(shù)據(jù)以查看其是否合適。推理所需的計算能力比訓練所需的要少，但推理仍會占用大量處理器。

寫完微軟的故事后，我了解了來自Google，高通和ARM等公司的整個社區(qū)，他們試圖將AI推論帶到最小和最遙遠的邊緣。這個想法是，通過將機器學習模型放置在傳感器(而不是網(wǎng)關(guān))上，您可以過濾掉大量無用的數(shù)據(jù)，保護用戶隱私并改善延遲。

這個領(lǐng)域中的大多數(shù)演示都涉及在一角錢大小的傳感器上的人檢測計算機視覺或微型微控制器(MCU)上的語音識別。但是這里有巨大的潛力，尤其是與物聯(lián)網(wǎng)有關(guān)的潛力。這就是為什么我很高興遇到Jags Kandasamy的經(jīng)歷，他是一家成立11個月的初創(chuàng)公司Latent AI的聯(lián)合創(chuàng)始人兼首席執(zhí)行官，該公司正在編寫軟件以幫助在最遠的地方高效地運行模型。

坎大薩米說，他的軟件可以優(yōu)化現(xiàn)有模型，因此它們可以在MCU上運行，并且不會損失原始模型的準確性。有兩種產(chǎn)品。一種產(chǎn)品包括在云中運行的軟件，該軟件可幫助壓縮現(xiàn)有的神經(jīng)網(wǎng)絡，使其可以在較小的設(shè)備上運行。另一個產(chǎn)品是一個編譯器，它可以將公司所說的庫文件壓縮10倍，只需幾個小時。Kandasamy說，他目前有10個客戶正在試用該軟件，并且正在與芯片供應商進行談判，以便他可以針對他們的芯片優(yōu)化該軟件。

坎大薩米(Kandasamy)向我展示了他如何使用流行的圖像識別神經(jīng)網(wǎng)絡，并使用優(yōu)化器對其進行了調(diào)整，然后對其進行編譯以在手機上運行。手機顯然是比傳感器更高性能的設(shè)備，但是正如他指出的那樣，手機可以帶來更好的演示效果。在演示中，該模型運行良好，可以識別會議中心周圍的人員，酒瓶和其他用具。

由神經(jīng)網(wǎng)絡生成的模型不僅限于計算機視覺或語音識別。例如，讓振動傳感器運行旨在檢測災難性故障的模型，可以命令設(shè)備關(guān)閉。或者助聽器可能會運行一個模型，該模型可以將對話與背景噪音區(qū)分開。我們很可能會在需要公司快速響應的地區(qū)，對隱私至關(guān)重要的用例以及電池壽命至關(guān)重要的任何地方部署此類軟件。

6月，Latent AI籌集了由Steve Jurvetson在Future Ventures領(lǐng)導的350萬美元的種子輪融資，其中包括SRI International Ventures，Perot Jain和Gravity Ranch。潛在AI是SRI International的衍生產(chǎn)品。