數據科學近期的巨大增長 - 無論是作為學科還是應用程序 - 都可以部分歸功于其強大的解決問題能力：它可以預測信用卡交易何時是欺詐性的，幫助企業主找出何時發送優惠券通過預測學生何時輟學，以最大化客戶響應或促進教育干預。

然而，要獲得這些數據驅動的解決方案，數據科學家必須通過一系列復雜的步驟來處理原始數據，每個步驟都需要許多人為驅動的決策。決定建模技術的過程的最后一步尤其重要。有數百種技術可供選擇 - 從神經網絡到支持向量機 - 并且選擇最好的技術可能意味著數百萬美元的額外收入，或者發現關鍵醫療設備中的缺陷與缺失它之間的差異。

上周在IEEE國際大數據大會上發表的一篇名為“ATM：一種用于自動機器學習的分布式，協作，可擴展系統”的論文中，來自麻省理工學院和密歇根州立大學的研究人員提出了一種自動選擇模型的新系統。一步，甚至改善人的表現。該系統稱為自動調諧模型(ATM)，利用基于云的計算對建模選項執行高吞吐量搜索，并針對特定問題找到最佳可能的建模技術。它還調整了模型的超參數 - 一種優化算法的方法 - 這可以對性能產生重大影響。ATM現在可用作企業作為開源平臺。

為了將ATM與人類表演者進行比較，研究人員針對協作眾包平臺openml.org的用戶測試了該系統。在這個平臺上，數據科學家們共同努力解決問題，通過相互建立工作找到最佳解決方案。ATM從該平臺分析了47個數據集，并且能夠提供比人類在30%的時間內提出的解決方案更好的解決方案。當它無法超越人類時，它就會非常接近，而且至關重要的是，它的工作速度比人類快得多。雖然open-ml用戶平均需要100天才能提供接近最優的解決方案，但ATM可以在不到一天的時間內得到答案。

賦予數據科學家權力

這種速度和準確性為數據科學家提供了急需的安心，他們經常受到“假設”的困擾。“有很多選擇，”密歇根州立大學計算機科學與工程系教授，該論文的資深作者Arun Ross說。“如果數據科學家選擇支持向量機作為建模技術，那么神經網絡或不同模型是否會帶來更好的準確性的問題總會在她腦海中浮現。”

在過去幾年中，模型選擇/調整的問題已成為機器學習的一個全新子領域的焦點，稱為Auto-ML。Auto-ML解決方案旨在為數據科學家提供針對給定機器學習任務的最佳模型。只有一個問題：競爭的Auto-ML方法產生不同的結果，并且它們的方法通常是不透明的。換句話說，在尋求解決一個選擇問題時，社區創造了另一個更復雜的問題。麻省理工學院信息與決策系統實驗室(LIDS)的主要研究科學家，該論文的高級作者Kalyan Veeramachaneni說：“'假設'問題仍然存在。” “它只是轉移到'如果我們使用不同的Auto-ML方法怎么辦?'”

ATM系統的工作方式不同，使用按需云計算在一夜之間生成并比較數百(甚至數千)個模型。為了搜索技術，研究人員使用智能選擇機制。系統并行測試數千個模型，對每個模型進行評估，并為那些有希望的技術分配更多的計算資源。糟糕的解決方案被淘汰，而最好的選擇上升到頂部。

ATM不是盲目地選擇“最佳”并將其提供給用戶，而是將結果顯示為分布，允許并排比較不同的方法。通過這種方式，羅斯說，ATM加速了測試和比較不同建模方法的過程，而沒有自動化人類直覺，這仍然是數據科學過程的重要組成部分。

開源，社區驅動的方法

通過簡化模型選擇流程，Veeramachaneni和他的團隊旨在讓數據科學家能夠在更具影響力的部分工作。“我們希望我們的系統能夠讓專家們花更多的時間來理解數據，問題的制定和特征工程，”Veeramachaneni說。

為此，研究人員正在開源ATM，使其可供想要使用它的企業使用。它們還包括一些條款，允許研究人員整合新的模型選擇技術，從而不斷改進平臺。ATM可以在單個機器，本地計算集群或云中的按需集群上運行，并且可以同時處理多個數據集和多個用戶。

“中小型數據科學團隊可以通過幾步建立和開始生產模型，”Veeramachaneni說。其中沒有一個是“假設”。