邁向縱深的云計算與下落凡塵的HPC，再續“前緣”

高性能計算(HPC)和云計算曾是兩個“平行世界”，各自演繹著精彩，卻鮮有交集。

傳統上，HPC主要應用于大規模計算，如天氣預報、石油勘探、藥物研發等。這些任務通常借助超級計算機或計算集群運行，需要很多特殊的軟硬件來加速節點間通訊并提升性能和可靠性，自成一統的同時也阻礙了擁抱新技術、新平臺的步伐。

云計算在誕生初期掀起了虛擬化的浪潮，甚至嘗試過與HPC親密接觸，但終因性能損耗和網絡延時而失之交臂。伴隨亞馬遜等云平臺的迅猛發展，通用計算領域幾乎已變成云的天下，千行百業都在基于云底座進行數字化轉型。邁向縱深的云計算與下落凡塵的HPC，有望再續前緣。

值得關注的是，外部環境發生的劇烈變化，也促使“平行世界”之間的相互穿越成為可能。

一方面，數字經濟的高速發展帶來數據規模的幾何級數增長，隨之而來的算力需求也大幅增加。既有的高性能計算集群或超級計算中心模式，已很難滿足爆發性的需求和多元化的場景，HPC必須謀求嶄新的演進路徑。

另一方面，人工智能的快速滲透與新型硬件的風起云涌，使云計算如虎添翼。機器學習、深度學習極大拓展了業務應用范疇，推動智能化與高性能緊密結合。

正所謂“歇馬憑云宿，揚帆截海行”——HPC在躊躇謀變之際，恰好遇到處于上升期的云計算，和人工智能、加速計算等提供助力的“小伙伴”，他們組成強大的HPC+陣營，共赴數字化升級的星辰大海。

這不是紙上談兵，重要的是付諸行動。近日，亞馬遜云科技舉辦“云啟賦新 高性能計算業務創新論壇”，與來自不同行業的專家共同探索“HPC +”時代如何為客戶賦能，幫助他們加速創新。(請點擊“閱讀原文”觀看活動視頻回放)

行業領導者的率先垂范，是HPC+揚帆起航的標志性信號。云上的澎湃算力，將為客戶解決運行大型復雜模擬和深度學習工作負載的難題，高性能計算會繼續乘風破浪。

云計算驅動HPC開疆擴土

Hyperion Research市場調研的數據顯示，到2022年底將有18.8%的HPC在云端運行，而這個數據在2021年只有12.3%。

來自Market Research Future的報告也表明，云端高性能計算在未來五年會保持21%的年復合增長率，2023年的市場規模將達220億美元。

顯而易見，HPC與云的深度融合正在提速，這既是客戶應對業務挑戰的必然結果，又與高性能計算本身的進化密切相關。

從客戶需求的角度看，本地高性能計算基礎設施限制了工程師、科學家和研究人員及時獲得成果，約有72.8%的組織表示高性能計算工作遭到延遲或取消。這將導致很多客戶錯失創新的窗口期，收入預期自然難以達成。

路徑依賴造成的成本負擔與技術壓力也不容忽視。客戶在建設與運營自有數據中心的過程中，總是在高峰期的捉襟見肘與日常的浪費閑置之間痛苦搖擺。通過采用新算法適應原有基礎設設施的做法，難免以犧牲部分性能為代價，綜合評估得不償失。

如果把視野再放大一些，會發現HPC早就不局限于原來的“一畝三分地”，應用場景的顯著擴展也促使基礎設施向云底座躍遷。

在計算機輔助工程與流體力學、天氣及氣候預報、地震反演和儲層預測、新藥發現和基因檢測等傳統優勢領域，HPC要應對超大規模計算帶來的技術架構與投入產出比挑戰;面對金融量化交易風控模型、電子芯片設計EDA、數字孿生、自動駕駛、影視渲染乃至量子計算等新場景，HPC必須融入各個行業數字化轉型的進程，滿足層出不窮的差異化需求。

以競爭激烈的美洲杯帆船賽為例(參見視頻)：像素分割模擬計算對帆船競賽將產生決定性影響——把船分成的像素越多，模型就越精確，但這意味著計算量成倍地飆升，此時云計算的價值就會凸顯。從某種意義上講，乘風破浪的動力不是風的力量，而是云的力量。

云的彈性、靈活性、可擴展性等先天稟賦正是HPC化解難題的良方，后天形成的市場滲透力及其與人工智能、加速計算等新興技術的協同效應，更為云與HPC攜手同行奠定了堅實基礎。

云上高性能計算的進化路徑

作為云平臺的開創者與領路人，亞馬遜云科技在高性能計算領域屢創佳績，連續四年入選HPC連線雜志“最佳HPC云平臺”，并在2021 CCF年會上獲得高性能計算實例產品創新大獎。

目前，在全球高性能計算轉向云平臺的過程中，約有58%的高性能計算云端計算量處于亞馬遜云科技平臺上。依托領先的前瞻性研究、成熟的服務體系和扎實的落地案例，亞馬遜云科技探索出云與HPC融合的最佳路徑，并根據市場環境變化不斷演進。

亞馬遜云科技大中華區產品部總經理陳曉建認為，構建HPC云上服務并非堆砌服務器資源那么簡單，背后是完整的HPC生態系統。

以亞馬遜云科技建立的完整堆棧的HPC服務模式為例：

底部的基礎層涵蓋算力資源、高速網絡和存儲，構成整個體系的基石。亞馬遜云科技500+不同類型的服務器組合滿足各類復雜場景需求，提供100G以上帶寬吞吐、支持MPI的EFA網卡使網絡不再是高性能計算的瓶頸，支撐高性能計算且在云端實現多級的文件存儲策略，進一步幫助客戶提升資源利用效率。

中間的控制層是HPC生態系統的大腦，主要涉及集群創建和任務編排——亞馬遜云科技提供了各種性能、功能的產品，為不同場景的客戶帶來價值;最上層的可視化致力于營造易用的環境，亞馬遜云科技基于NICE DCV方案可在極低的網絡吞吐量前提下，提供高分辨率、低延遲的用戶體驗。

需要指出的是，HPC生態不是存在于一個歲月靜好的穩定環境，而是要隨時應對大系統的變遷與小場景的打磨。在混合云日益盛行的背景下，公有云平臺需要推出更有針對性的策略，才能立于不敗之地。

基于NICE Enginframe server+Amazon HPC Connector中間件，亞馬遜云科技幫助客戶在混合云架構下，實現本地數據中心與云上資源的平滑切換，并根據不同場景提供適宜的解決方案：

應對突發任務上云，當客戶的本地數據中心無法支撐任務時，可無縫訪問亞馬技云科技的充足資源;針對缺乏上云經驗的客戶，通過HPC混合云逐步、分批地幫助客戶使用相關資源;對于決定工作遷移的客戶，以統一的控制臺有計劃、大規模地將 HPC任務跨本地數據中心和云上環境部署。

以更長遠的眼光來看，量子計算是未來算力增量的源泉。亞馬遜云科技不僅擁有Braket這樣的商業化產品，而且面向量子計算構筑起多層次的服務體系，在化學及材料科學、城市交通優化等場景取得積極進展。

首先，亞馬遜云科技打破量子計算技術壁壘，建立完全托管的服務模式，便于客戶快捷地探索和試驗;其次，提供專家級的支持，客戶可與亞馬遜量子實驗室進行深度合作;再次，基于量子計算中心在量子算法和硬件等方面做創新研究，尋求通往未來的算力密碼。

HPC+催生場景化創新

《美國創新史》的作者Harold Evans發現，由借鑒和結合產生的創新多于純粹的發明，洞察事物間相互關聯性的能力比創造力更重要。

以前定義HPC工作負載的方法，通常是根據高性能計算任務是松耦合型還是緊耦合型，更看重網絡帶寬和延遲需求，同時會從HPC任務涉及的數據規模來考量。

但最近兩年，亞馬遜云科技發現，隨著硬件技術的創新，以及人工智能的迅猛發展，越來越多的HPC任務和AI、ML、DL相結合。這就要求為客戶提供相對應的方案，也由此催生出HPC+的概念——從更廣泛的維度，包括加速計算、機器學習、深度學習等多方面去設計服務和構建方案。

伴隨HPC的重量級伙伴逐漸增多，圍繞HPC+的場景化創新正紛至沓來，亞馬遜云科技在其間扮演著舉足輕重的角色。

助力影視渲染行業轉型，是HPC+展示身手的新舞臺。內容制作需要超大規模渲染算力，從傳統的CPU渲染升級為GPU渲染可加速制作進程，深度學習自動生成形狀、材質、光照及場景能提供增強型的觀看體驗——三者分別對應云、加速計算、人工智能，HPC+的好伙伴，一個也不能少。

以多部史詩級作品著稱的影視制作巨頭Weta Digital即是典型案例。十幾年前，《阿凡達1》基于Weta Digital自己的數據中心完成制作;從2020年起，由亞馬遜云科技為其提供大規模渲染集群、云上工作室方案、機器學習堆棧等服務支撐，顯著提升制作效率與渲染效果，即將瓜熟蒂落的《阿凡達2》值得期待。

輔助創新藥物和疫苗研發，也是HPC+擅長的領域。靶點的選擇和確認、化合物的發現與優化、臨床研究、真實世界分析等都離不開各方的協同發力。亞馬遜云科技和藥明康德在用藥機理上合作，借助圖神經網絡技術將建模時間縮短5倍;與晶泰科技在分析發現上也取得突破，不僅計算出最穩定的晶體結構，而且得到其全景圖，為后續藥物研發筑牢根基。

此外，在自動駕駛、流體仿真等場景，HPC+同樣顯現出不可或缺的作用，在海量數據存儲與分析、從仿真結果中提取復雜關系等方面成果顯著。據了解，亞馬遜云科技已為國內外主流商用車、乘用車廠商提供與自動駕駛相關的服務支撐，在F1賽車、帆船競技等流體仿真應用前沿亦屢有斬獲。

未來，HPC+的陣容必將持續發展壯大。那些曾經單打獨斗的航船會組合成無堅不摧的航空母艦，駛向數字化海洋的最深處。

來源：IT創事記

IT時代網(關注微信公眾號ITtime2000，定時推送，互動有福利驚喜)所有原創文章版權所有，未經授權，轉載必究。
創客100創投基金成立于2015年，直通硅谷，專注于TMT領域早期項目投資。LP均來自政府、互聯網IT、傳媒知名企業和個人。創客100創投基金對IT、通信、互聯網、IP等有著自己獨特眼光和豐富的資源。決策快、投資快是創客100基金最顯著的特點。

相關文章

邁向縱深的云計算與下落凡塵的HPC，再續“前緣”

飛越數字鴻溝：行業云“三位一體”探索跨越路徑

Diskless顛覆之路的里程碑，華為微存儲打破存算一體桎梏

華為云“三級火箭”助推新伙伴體系，構建共創共享共贏嶄新格局