新聞中心

EEPW首頁 > 智能計算 > 編輯觀點 > 異構將成超算主流,Habana的AI專用芯片顯威力

異構將成超算主流,Habana的AI專用芯片顯威力

作者:王瑩時間:2021-04-15來源:電子產品世界收藏

近日,Habana Labs宣布美國圣地亞哥超算中心為Voyager研究計劃選擇了Habana Lab 加速器。后者是典型的(專用芯片),但是可與英偉達的訓練市場一比高低。為何Habana Lab 加速器有如此強大的威力?未來的超算架構會青睞哪種AI芯片?值此機會,電子產品世界記者采訪了Habana Labs中國區總經理于明揚先生。

本文引用地址:http://www.ncspllc.com/article/202104/424507.htm

1 用于Voyager研究計劃Habana Lab AI 加速器

據悉,超微 (Supermicro)提供內置Habana? Gaudi? AI訓練和Goya? AI推理加速器的高性能計算系統,將用于加州大學圣地亞哥分校圣地亞哥超級計算機中心(SDSC)的Voyager超級計算機,以提供高性能的AI計算能力,計劃于2021年秋季投入使用。

Voyager將致力于推進跨學科和工程領域的人工智能研究。其采用了Habana獨特的互聯技術,用336片Gaudi加速器有效地提升了AI訓練能力,這種架構很好地擴展了大型超級計算機的訓練應用。Gaudi是目前業界唯一內置集成10個支持RoCE v2(RDMA over Converged Ethernet)100G以太網端口的AI處理器,可以有效提升擴展的靈活性,避免擴展能力受限于吞吐量。Voyager系統還采用了16片Habana Goya處理器用于AI推理模型。                                          

1618475232802005.png

之所以采用Habana的芯片,因為效率可以大為提升。例如Habana與AWS合作時,AWS稱在AWS EC2實例上,8卡的Gaudi 解決方案可以在TensorFlow上每秒處理1.2萬張圖像訓練ResNet-50模型。

2 、FPGA、各有所長,異構將成超算主流

在整個AI業務中,、FPGA和現在Habana 架構各有各的優勢,不能互相替代。

·GPU表現的是靈活性,在靈活性的基礎上同時具有性能的優勢。

·FPGA擅長整形與定制化。首先在整形表現了很好的性能,另外在靈活性與定制化之間選擇了一個平衡。但是,FPGA有較大的應用門檻——如果客戶想通過FPGA深度定制化實現加速,可能要對于FPGA的Verilog、VHDL語言有深入的了解。

·以Habana為代表的ASIC路線。ASIC在模型加速過程中可以實現很好的定制化加速;同時因為Habana對于計算架構有深入的理解,又最大限度地保持了靈活性。另外,在很多應用場景下更接近于GPU的使用習慣,但性能又要比GPU有很大的提升。

因此,在未來在異構的場景中,GPU、FPGA和ASIC會承擔不同的角色,很可能在一個大型的計算集群中承擔不同的功能。

例如,在一些要求高精度的科學計算中,GPU會發揮其優勢。FPGA的64位浮點計算的能力很強,在整形計算中的能力以及對于某些計算中的一些定制化的功能,有可能幫助其在流媒體的預處理、一些格式的轉換中表現出一定的優勢。而對于典型的AI應用,ASIC架構方案有望實現更高效的性能,以幫助客戶降低訓練的成本,提升效率。

因此可以預言,在超算中,異構是未來的一個趨勢。超算中很可能會選擇X86的架構作為整個計算、業務的調度和管理,所以X86架構會存在。同時GPU會在科學運算、高精度浮點運算中起到重要的角色。再有,超算對于未來AI應用有非常強的需求,這種應用中有可能會使用ASIC解決方案,諸如Habana ASIC解決架構方案,這樣的組合給客戶帶來最大的靈活性,同時也可以助力超算最大限度地提升性能,而且降低其運營成本。

異構架構的應用挑戰是如何在不同架構上部署自己和客戶的業務。因此,如何提供這種融合的管理平臺,幫助客戶能自動地把其需求部署到不同的架構中,可能是一大關鍵。 

3 Habana與英偉達是AI訓練的雙雄

在訓練市場,目前能提供產品的廠商不多。雖然在國內現在已經出現了一些新的用GPU架構,但是這些廠家的產品還處在早期的研發階段?,F在市場上成熟的,能夠給客戶提供真正訓練體驗的產品只有英偉達GPU和Habana的Gaudi。

目前,其它廠家的產品處在整個生態完善過程中,在推廣中主要遇到兩大挑戰:①目前只能用于特定的場景,②應用跟自身品牌的訓練芯片匹配,才可能體現出更好的效果。

4 Habana在中國的策略

Habana在華策略跟全球策略基本上保持一致。首先,Habana會跟選定的主流云廠商進行深入合作,因為云廠商一方面給客戶提供更廣泛的服務,同時自身也有很多業務需求,因此可以給Habana帶來更多用戶的信息和市場的需求,幫助Habana打磨、完善自身的產品,以便在最短時間內能建立起一整套自己的生態體系,來滿足未來用戶的需求。

值得一提的是,Habana開始并不會把市場鋪得太廣,因為畢竟Habana產品剛剛進入市場,還有很多不完善的地方,需要投入資源去不斷改善。在完善之后,會把產品推廣到更多企業級的用戶和專業的用戶上。

5 未來產品規劃

Habana正在開發下一代7納米的芯片,代碼叫Gaudi2。該芯片大致的時間沒有最后的確認,很可能是在2022年上半年。預計相對于Gaudi,會有2倍以上的性能提升。

這兩倍以上的性能提升,一是在絕對性能上,包含對一些典型模型的支撐的性能。同時也會提供更好的軟件生態,包括對框架更好的支持,以及對一些新興的模型和已有的模型有更好的匹配,并給客戶提供更好的工具鏈,幫助客戶把他們的傳統工具能夠部署到新的Habana訓練平臺上。再有,新的訓練平臺中也會提供一些更新的功能,例如一些預處理的功能,以減少對CPU計算資源的消耗等。

6 被英特爾收購之后的變化

Habana Labs于2016年成立,2019年被英特爾收購,成為英特爾數據產品集團獨立運營的業務部門。被英特爾收購后,Habana在英特爾內是獨立運營的,這保證了Habana產品獨立性,以及能快速響應客戶需求,并保持產品一貫的連續。另外,英特爾又可以幫助Habana做產品背書,讓客戶更有信心與Habana合作。

7 Habana的訓練和推理芯片是否要搭配

通過端到端的解決方案,肯定效率會有所提高。但是應該強調的是,Habana的Gaudi(訓練)和Goya(推理)都是面向訓練和推理預測的通用ASIC架構的處理器,因此并沒有一對一的特殊要求。

但在某些場景下,Gaudi和Goya的配合確實能發揮一定的作用。Gaudi和Goya兩類芯片中比較典型的技術積累在于整形處理方面的能力,這是Habana專有的IP技術。通過整形的技術既保證了性能的提升,同時又保證了整個模型訓練和推理之后的準確性。因此,如果把兩個芯片能配合在一塊使用,可以在整形應用上給客戶帶來更好的性能體驗。



關鍵詞: AI ASIC GPU

評論


相關推薦

技術專區

關閉
偷拍亚洲另类无码专区AV