上周，IBM終于放棄了大數(shù)據(jù)運動中的一項關(guān)鍵技術(shù)，轉(zhuǎn)而把精力放在了一個新的競爭對手身上。該公司正在將Apache Spark添加到其開源大型數(shù)據(jù)處理軟件組合中，使長期存在的system MapReduce黯然失色。

該公司稱Spark是十年來最重要的開源項目，并承諾將該技術(shù)嵌入其分析和商業(yè)平臺，并在自己的公共云基礎(chǔ)設(shè)施上提供Spark服務(wù)。藍色巨人還將把它的SystemML機器學習技術(shù)捐贈給Spark開源運動。為什么?

Spark是一個用于數(shù)據(jù)處理的通用框架，設(shè)計用于運行在多個不同計算機集群中同時處理數(shù)據(jù)的應(yīng)用程序。這解決了兩個與處理大量數(shù)據(jù)相關(guān)的常見問題。

首先，非常大的數(shù)據(jù)集可能需要很長時間才能跨越網(wǎng)絡(luò)轉(zhuǎn)移到一臺單獨處理它們的計算機上。其次，一些大型數(shù)據(jù)應(yīng)用程序，如機器學習，要求所有數(shù)據(jù)同時存儲在內(nèi)存中。這對于一臺計算機來說是非常困難的，當你談?wù)搕b級的東西時。這就是為什么Spark被描述為機器學習應(yīng)用程序的有用工具，而機器學習應(yīng)用程序通常需要大量的經(jīng)驗數(shù)據(jù)。

在歷史上，對于許多人來說，跨計算機集群處理大型數(shù)據(jù)集的首選技術(shù)是MapReduce，它是為大型數(shù)據(jù)處理平臺Hadoop分配處理任務(wù)的技術(shù)。

Hadoop也是Apache基金會的產(chǎn)品，受到包括IBM和HP在內(nèi)的各種供應(yīng)商的支持。IBM基于Apache開源發(fā)行版發(fā)布的Hadoop稱為IOP。

IBM全球大數(shù)據(jù)分析平臺技術(shù)銷售主管Dirk deRoos認為，Spark作為Hadoop的工具，正在超越MapReduce。他說，它為程序員提供了更富表現(xiàn)力的API，使他們能夠用數(shù)據(jù)處理做更廣泛的事情。這意味著它們可以用于不同的工作，他補充說。

“MapReduce非常擅長批量處理符合嚴格的Map和Reduce模型的應(yīng)用程序，而Sparkis要靈活得多，”他說。

spark可以用于批量應(yīng)用程序，也可以用于交互式應(yīng)用程序。當用戶詢問問題時，比如SQL查詢，并希望在幾秒鐘或更少的時間內(nèi)返回結(jié)果，”他繼續(xù)說道。它還可以用于近乎實時的應(yīng)用程序，比如處理跨neetowrk的數(shù)據(jù)流。

MapReduce的缺點很可能影響了谷歌在一年前有效地放棄這項技術(shù)。去年6月，它宣布將取代MapReduce，一個它自己建立的新的云分析系統(tǒng)，稱為云數(shù)據(jù)流。

IBM也許會把精力集中在Spark上，但它不會放棄MapReduce。只要Apache開源項目將該技術(shù)包含在Hadoop中，它就會繼續(xù)發(fā)布該技術(shù)，但IBM現(xiàn)在也將Spark整合到自己的Hadoop發(fā)行版中。Spark既可以用于Hadoop項目，也可以用于其他非Hadoop項目。

與Hadoop一樣，Spark也可以在IBM的完全開源發(fā)行版上使用，即Apache Hadoop的開放平臺。但是，它還將被綁定到IBM生產(chǎn)的其他應(yīng)用程序框架中。

deRoos將Spark稱為一項服務(wù)的云實現(xiàn)正在Bluemix上測試，Bluemix是一個基于開源云計算項目的云環(huán)境。他說，這是為了幫助開發(fā)人員在線混合和匹配不同的應(yīng)用程序。

deRoos總結(jié)道:“park.com非常適合機器學習應(yīng)用程序，這使得將機器學習功能集成到處理數(shù)據(jù)的Bluemix應(yīng)用程序中成為可能。”