如果您想知道下一部手機的攝像頭的性能如何，明智的做法是注意制造商對AI的評價。除了大肆宣傳之外，這項技術在過去幾年中還使攝影技術取得了驚人的進步，沒有理由認為進展會放慢。

可以肯定，周圍還有很多頭。但是，最近攝影領域最令人印象深刻的進步發生在軟件和芯片級別，而不是傳感器或鏡頭–這在很大程度上要歸功于AI使相機更好地了解了他們所看的東西。

Google相冊清楚地展示了2015年該應用程序啟動時將AI和攝影相結合的強大功能。在此之前，搜索巨頭多年來一直在使用機器學習對Google+中的圖像進行分類，但該公司推出了“照片”應用程序包括大多數人難以想象的面向消費者的AI功能。一夜之間，用戶雜亂無章的數千張未標記照片庫被轉換成可搜索的數據庫。

突然之間，或看起來，Google知道您的貓是什么樣子。

Google建立了一個經過深度訓練的深度神經網絡，以人類標記的數據為基礎，該研究是在2013年收購DNNresearch的先前工作的基礎上進行的。這稱為監督學習;該過程涉及在數百萬張圖像上訓練網絡，以便它可以在像素級別尋找視覺線索以幫助識別類別。隨著時間的流逝，該算法在識別大熊貓方面變得越來越好，因為它包含過去用來正確識別大熊貓的模式。例如，它可以了解黑色皮毛和白色皮毛之間的相互關系，以及與荷斯坦奶牛的皮有何不同。經過進一步的培訓，就有可能搜索更抽象的術語，例如“動物”或“早餐”，這些術語可能沒有共同的視覺指標，但對于人類仍然是立即顯而易見的。

訓練這樣的算法需要花費大量時間和處理能力，但是在數據中心完成其工作后，就可以在低功率移動設備上運行而不會帶來太多麻煩。繁重的工作已經完成，因此，一旦您的照片上傳到云中，Google便可以使用其模型來分析和標記整個庫。Google Photos推出大約一年后，Apple宣布了照片搜索功能，該功能在神經網絡上進行了類似的訓練，但是作為公司對隱私保護的承諾的一部分，實際分類是在每個設備的處理器上分別進行的，而不發送數據。這通常需要一兩天，并且會在設置后的后臺發生。

智能照片管理軟件是一回事，但可以說，人工智能和機器學習首先會對圖像的捕獲產生更大的影響。是的，鏡頭繼續變得更快一點，傳感器總是可以變得更大一點，但是在將光學系統塞入超薄移動設備中時，我們已經在推動物理的局限性。盡管如此，如今至少在后期處理之前，手機在某些情況下要比許多專用攝像頭拍攝更好的照片并不罕見。這是因為傳統相機無法在對攝影同樣重要的另一類硬件上競爭：包含CPU，圖像信號處理器以及神經處理單元(NPU)的片上系統。

這就是所謂的計算攝影中使用的硬件，這個廣義的術語涵蓋了從手機人像模式中虛假的景深效果到有助于驅動Google Pixel令人難以置信的圖像質量的算法等所有內容。并非所有的計算攝影都涉及AI，但AI無疑是AI的主要組成部分。

蘋果公司利用這項技術來驅動其雙攝像頭手機的縱向模式。iPhone的圖像信號處理器使用機器學習技術通過一個攝像頭識別人，而第二個攝像頭創建一個深度圖，以幫助隔離對象并模糊背景。通過機器學習識別人的能力在2016年首次亮相時并不是什么新功能，因為照片組織軟件已經在這樣做。但是以智能手機相機所需的速度實時管理它是一個突破。

Google仍然是該領域的明顯領導者，而三代Pixel所產生的出色結果是最令人信服的證據。HDR +是默認的拍攝模式，它使用一種復雜的算法將幾張曝光不足的幀合并為一個，就像Google的計算攝影負責人Marc Levoy在The Verge中指出的那樣，機器學習意味著系統只會隨著時間的推移而變得更好。Google已使用Google Photos軟件在龐大的帶有標簽的照片數據集上訓練了AI，這進一步幫助了相機進行曝光。像素2，特別是，生產這種基線圖像質量的令人印象深刻的水平，有些我們在邊緣已經超過舒適的使用它的專業工作在這個網站上。

GOOGLE的NIGHT SIGHT是關于軟件在攝影中的作用的驚人廣告

但是Google的優勢似乎從未像幾個月前推出Night Sight那樣明顯。全新的Pixel功能將長時間曝光拼接在一起，并使用機器學習算法來計算更準確的白平衡和色彩，并得出令人驚訝的結果。該功能在Pixel 3上效果最佳，因為算法設計時考慮了最新的硬件，但Google使其可用于所有Pixel手機-甚至包括缺乏光學圖像穩定功能的原始手機-以及有關如何使用軟件的驚人廣告對于移動攝影，現在比照相機硬件更重要。

話雖如此，硬件仍有空間發揮作用，特別是在有AI支持的情況下。Honor的新款View 20手機以及母公司華為的Nova 4，是首款使用Sony IMX586圖像傳感器的手機。它比大多數競爭對手都更大的傳感器，其48兆像素代表了迄今為止在任何手機上所見的最高分辨率。但這仍然意味著將很多微小的像素塞滿一個很小的空間，這對于圖像質量來說往往是有問題的。但是，在我的View 20測試中，Honor的“ AI Ultra Clarity”模式擅長充分利用分辨率，對傳感器不尋常的濾色器進行解密以解鎖更多細節。這會產生巨大的照片，您可以放大數天。

圖像信號處理器對于手機相機的性能一直很重要，但是隨著計算攝影技術的發展，NPU似乎將扮演更大的角色。華為是第一家發布具有專用AI硬件的芯片系統Kirin 970的公司，盡管蘋果的A11 Bionic最終獲得了消費者的青睞。全球最大的Android處理器供應商高通公司(Qualcomm)尚未將機器學習作為主要重點，但谷歌已經開發了自己的名為Pixel Visual Core的芯片來幫助完成與AI相關的成像任務。同時，最新的Apple A12 Bionic具有八核神經引擎，可以在Apple機器學習框架Core ML中運行任務，其速度比A11快9倍，并且首次將其直接鏈接到圖像處理器。蘋果表示，這可以使相機更好地了解焦平面，例如，有助于產生更真實的景深。

相機是任何手機的基本功能，而AI是我們改進相機的最佳選擇

對于高效和高性能的設備上機器學習而言，這種硬件將變得越來越重要，就其對處理器的需求而言，它具有極高的上限。請記住，在將Google Photos設置為強大的功能之前，必須在具有強大GPU和張量核心的強大計算機上對其進行訓練，然后再將它們放到照片庫中。可以說，許多工作可以“提前”完成，但是在移動設備上實時執行機器學習計算的能力仍然是最前沿的。

Google展示了一些令人印象深刻的工作，它們可以減輕處理負擔，而神經引擎的速度每年都在提高。但是，即使在計算攝影的早期階段，從圍繞機器學習設計的手機攝像頭中也可以發現真正的好處。實際上，在過去幾年的AI炒作浪潮中提出的所有可能性和應用中，當今最實用的領域可以說是攝影。相機是任何手機的基本功能，而AI是我們改進相機的最佳選擇。