當我們觀看電影或玩視頻游戲時，正確的聲音效果可以幫助使場景變得更加逼真：當一個頭發花白的賭徒在一個銀色屏幕的紙牌桌上滾動一個銀元時，聲音似乎從一個耳朵到另一個耳朵，一招電影制作者可以通過拼接預先錄制的從揚聲器到揚聲器的聲音來完成。

但到目前為止，在虛擬現實中創造這樣的感覺實際上是不可能的，因為VR是沒有腳本的。很難預測一個物體可能產生什么噪音，或者它們可能被聽到的地方。為了使VR聽起來更逼真，工程師必須創建大量的“聲音模型” - 計算機化的預錄制等效物。每個聲音模型都可以使VR系統在需要的精確時刻合成特定的聲音。到目前為止，一組計算機需要花費數小時來創建一個單獨的聲音模型，并且由于需要許多不同的模型來合成許多不同的潛在聲音，因此在交互式環境中創建逼真的聲音一直是難以實現的目標。

現在斯坦福大學的計算機科學家已經發明了一種能夠在幾秒鐘內創建聲音模型的算法，這使得在虛擬環境中模擬許多不同對象的聲音具有成本效益。當需要聲音的動作發生時，這個新模型可以將每個聲音合成的聲音與過去慢得多且仍然是實驗性算法產生的聲音一樣逼真。“讓創建模型變得更容易使得構建具有逼真音效的交互式環境變得切實可行，”計算機科學教授道格·詹姆斯(Doug James)說道。

用于創建聲音模型的現有算法基于19世紀科學家赫爾曼·馮·赫爾姆霍茲(Hermann von Helmholtz)所做的工作，他將自己的名字命名為描述聲音如何傳播的等式。基于這一理論基礎，科學家們設計了算法來創建三維聲音模型：軟件程序能夠合成似乎真實的音頻，因為聲音的音量和方向取決于動作相對于聽眾的位置而變化。到目前為止，用于創建三維聲音模型的最佳算法依賴于邊界元素方法(BEM)，這是一個對商業用途來說成本太高的緩慢過程。

詹姆斯和他的研究生合作者王瑞賢開發了一種算法，通過避免亥姆霍茲方程和BEM，可以快速計算聲音模型數百到數千倍。他們的方法靈感來自20世紀奧地利作曲家弗里茨海因里希克萊因，他發現了一種方法，將大量的鋼琴音調和音符融合成一種叫做母弦的單一悅耳聲音。科學家們將他們的算法KleinPAT命名為他的靈感 - 解釋他們的方法是如何產生聲音的他們在ACM SIGGRAPH 2019計算機圖形和交互技術會議上發表的科學論文中的模型。“我們認為這是一個改變互動環境的游戲規則，”詹姆斯說。