大家好，小科來為大家解答以上問題。速度和容量受制No！高性能存儲的瓶頸不止于此這個很多人還不知道，現在讓我們一起來看看吧！

1、這兩年，存儲市場非常熱鬧。SSD帶來的速度已經體現在從消費電子到超級計算的性能上。然而，隨著高性能計算走上全新的道路，大吞吐量和大容量不再是HPC存儲的唯一設計目標。

2、那么，HPC存儲目前面臨哪些挑戰呢？首先，數據生成已經逐漸被數據訪問所取代。在大數據環境中，IOPS要求隨機訪問小數據。

3、其次，“找到”真正需要的數據成為了最關鍵的環節，這也對元數據的統計、讀寫、刪除提出了更高的要求。

4、此外，近年來出現了不同的文件和數據形式，在處理時需要特別注意。高性能存儲必須具備大規模數據傳輸的能力。

5、新的高性能計算場景基于

6、以一些在建的智慧城市項目為例。城市里分散著很多傳感器和執行器，比如激光雷達、攝像頭、微流控傳感器、電機等，都會產生PB級的原始數據。這些數據需要經過壓縮、預處理、上傳、深度學習和推理，存儲可以說與邊緣計算和機器學習緊密相連。

7、再比如我們的自動駕駛。今天的自動駕駛方案都是通過數據和高性能計算來實現的。像特斯拉這樣的制造商甚至為其自動駕駛技術的發展開發自己的芯片和超級計算機。

8、每天，自動駕駛測試團隊都會將PB級的遙測傳感數據傳輸到數據平臺，然后進行標記、分類、檢錯、仿真，再放入大規模存儲系統。如此大規模的存儲平臺，不僅可能擴展到EB級別，還可能承擔模擬、再處理和機器學習的繁重負荷。

9、在這些新場景賦予的挑戰下，出現了一波新技術，比如從PCIe 4.0過渡到PCIe 5.0，光模塊從200G過渡到400G，GPU直接存儲等特殊協議的使用等等。

10、這些技術大多提高了HPC存儲的吞吐量，更重要的是，優化了特定工作流的效率。

11、高性能計算系統中存儲的組成

12、在目前的HPC場景下，無論是本地部署還是云環境，都需要一個計算平臺，可能是CPU的配置，也可能是CPU GPU/加速器的配置。該節點可以充分利用3D Xpoint等持久內存，不僅可以在掉電情況下提供低延遲的內存數據訪問而不丟失數據，還可以使用DAOS等分布式異步對象存儲的文件系統。

13、Lustre文件系統/Lustre

14、最后是數據管理，屬于大量數據的長期存儲。比如像波音這樣的航空公司，需要存儲每架飛機50年以上的詳細數據，還要有數據溯源的能力。

15、這種存儲不需要有高速性能，但是可以在前端程序需要的時候提供即時交互。而且為了節約能源，需要實現所謂的“零功率存儲”。

16、超是怎么做到的？

17、在眾多超級計算機已經布局百億億次系統的情況下，作為HPC中的頂級應用，我們自然可以一窺端倪，看看目前主流的HPC存儲解決方案。

18、以計劃今年完成的前沿超級計算機為例。這臺超級計算機將成為第一臺計算能力約為1.5萬億次的計算機。

19、前沿超級計算機/AMD

20、Frontier采用了AMD的全套解決方案，結合了AMD的EPyc CPU和鐳龍Instinct GPU。在AMD的cache coherence互聯方案下，CPU上的代碼可以直接訪問GPU內存，也就是我們上面說的GPU直接存儲技術。

21、在存儲系統上，Frontier采用了基于Lustre ZFS的679PB文件系統方案，用47700塊硬盤實現，最高速度可達5TB/s

22、在高速存儲中，有5400個NVMe固態硬盤，構成11PB的存儲空間，提供10TB/s的讀取速度。

23、極光超級計算機/英特爾

24、Aurora作為今年推出的千萬億次超級計算機系統，選擇了英特爾的解決方案。單個計算節點由兩個Xeon Sapphire Rapids、六個Xeponte Vecchio GPUs和一個通用內存架構組成。

25、主存儲方案也選擇了Intel的DAOS文件系統，結合NVMe和傲騰持久內存，形成大于230PB的系統，達到25 TB/s的速度

26、總結

27、除了上述挑戰，HPC存儲還面臨著最近內存計算興起所帶來的計算能力挑戰。未來五年，存儲結構、文件系統甚至存儲材料都將再次迎來新的變革。

28、這些變化將首先解決HPC中的問題，然后潛移默化地改善日常應用。

本文到此結束，希望對大家有所幫助。