上海2021年12月7日 /美通社/ -- 燧原科技發(fā)布第二代云端人工智能推理加速卡“云燧i20”——這是時(shí)隔僅五個(gè)月,繼今年7月發(fā)布云端人工智能訓(xùn)練加速卡“云燧T20”之后,燧原科技又推出的全新一代針對云端推理場景的AI加速產(chǎn)品。
作為全新一代云端AI推理加速產(chǎn)品,云燧i20擁有迄今為止業(yè)內(nèi)最大的AI加速卡存儲(chǔ)帶寬,高達(dá)819 GB/s,遠(yuǎn)超行業(yè)同類產(chǎn)品水平;同時(shí)全面支持從FP32、TF32、FP16、BF16到INT8的計(jì)算精度。單精度FP32峰值算力達(dá)到32 TFLOPS,單精度張量TF32峰值算力達(dá)到128 TFLOPS,整型INT8峰值算力達(dá)到256 TOPS。對比第一代推理產(chǎn)品,云燧i20將浮點(diǎn)算力提升到1.8倍,整型算力提升到3.6倍。
升級后的“馭算TopsRider”軟件棧,在性能、開發(fā)效率和模型覆蓋面上得到大幅提升。通過引入通用高層圖優(yōu)化和大規(guī)模算子融合技術(shù),充分釋放了大容量片內(nèi)存儲(chǔ)和高帶寬存儲(chǔ)的利用率,將模型平均性能提升3.5倍,硬件算力利用率平均提升2倍;通過升級的編程模型以及算子自動(dòng)分片、自動(dòng)生成技術(shù),自定義算子開發(fā)效率翻倍,模型遷移成本大大降低;此外,馭算增強(qiáng)了對動(dòng)態(tài)性的支持,使云燧i20在檢測、語音識別、語義理解等場景更具競爭力。
在經(jīng)濟(jì)效益和部署靈活性層面,基于虛擬化和多實(shí)例加速技術(shù),云燧i20能夠?qū)崿F(xiàn)單卡多用戶,同時(shí)支持6個(gè)業(yè)務(wù)互不干擾、安全隔離運(yùn)行。讓更多云端推理應(yīng)用同時(shí)享受專有的算力加速,為客戶業(yè)務(wù)架構(gòu)帶來輕耦合、靈活可靠的實(shí)現(xiàn)方式,顯著提升資源利用率與投入產(chǎn)出比。
“云燧i20的發(fā)布標(biāo)志著燧原科技在云端AI算力加速領(lǐng)域,從訓(xùn)練到推理的完整產(chǎn)品線已全面迭代到第二代,能夠以更有競爭力的產(chǎn)品,為互聯(lián)網(wǎng)、智慧城市、智慧政務(wù),以及金融、交通、能源等傳統(tǒng)行業(yè)客戶提供更優(yōu)的AI計(jì)算方案?!膘菰萍糃EO趙立東表示,“當(dāng)前,我國芯片產(chǎn)業(yè)正處于激烈的成長與蛻變時(shí)代,燧原科技以‘做大芯片,拼硬科技’為時(shí)代使命,基于原始創(chuàng)新的軟硬件架構(gòu),正在不斷加速技術(shù)創(chuàng)新與產(chǎn)品迭代。性能趕超業(yè)內(nèi)旗艦GPU的云燧i20正是我們的關(guān)鍵成果之一?!?/p>
超大帶寬推理加速卡,兼具高吞吐、低延時(shí)特性
目前以語音識別、圖片識別、視頻內(nèi)容分析為主的感知類應(yīng)用,內(nèi)容推薦和欺詐交易攔截等決策類應(yīng)用在云端大部分都是以實(shí)時(shí)在線的方式提供服務(wù);同時(shí)神經(jīng)網(wǎng)絡(luò)的參數(shù)越來越多,數(shù)據(jù)帶寬需求也越來越高,兼顧高帶寬和低延遲變得至關(guān)重要。云燧i20創(chuàng)新性地采用了高帶寬HBM2E存儲(chǔ),實(shí)現(xiàn)了高達(dá)819GB/s的超大帶寬,為各類云端推理業(yè)務(wù)提供高吞吐、低延時(shí)的性能,保障其準(zhǔn)確、平穩(wěn)、高效的運(yùn)行。
自主創(chuàng)新芯片架構(gòu),以更高性價(jià)比提供極致化性能
新一代“邃思”AI推理芯片采用第二代高性能計(jì)算核心和數(shù)據(jù)引擎,由12nm工藝打造,通過架構(gòu)升級,大大提高了單位面積的晶體管效率,從而實(shí)現(xiàn)了與目前業(yè)內(nèi)7nm GPU相匹敵的計(jì)算能力。不僅如此,基于12nm成熟工藝帶來的成本優(yōu)勢,使得云燧i20在相同性能表現(xiàn)下更具性價(jià)比優(yōu)勢。并且供應(yīng)鏈體系更加穩(wěn)定成熟,客戶的業(yè)務(wù)需求可以得到及時(shí)滿足。
燧原科技COO張亞林指出:“云燧i20全面提升了算力,在兼顧全精度算力的同時(shí)大幅度提高了整型運(yùn)算,大力加強(qiáng)了模型覆蓋率和泛化支持的能力,在多項(xiàng)基準(zhǔn)測試中,其模型性能、能效比均處于國內(nèi)領(lǐng)先水平,可以滿足云端推理業(yè)務(wù)高度多樣化的需求。燧原科技目前已經(jīng)擁有第二代的訓(xùn)練和推理產(chǎn)品,針對客戶的業(yè)務(wù)場景提供原始創(chuàng)新的、具有高性能及性價(jià)比的‘訓(xùn)練+推理’完整解決方案,并支持國產(chǎn)服務(wù)器和操作系統(tǒng),可以幫助客戶進(jìn)行云端系統(tǒng)部署,全面且持續(xù)為客戶創(chuàng)造價(jià)值?!?/p>
產(chǎn)學(xué)研協(xié)同,引領(lǐng)原始創(chuàng)新國產(chǎn)AI算力落地
自第一代云端AI推理加速卡“云燧i10”發(fā)布后,燧原科技在構(gòu)建原始創(chuàng)新的通用算力和自主生態(tài)上付出了卓絕的努力。以其國產(chǎn)AI算力產(chǎn)品為核心,以商業(yè)生態(tài)和科研生態(tài)為支撐,實(shí)現(xiàn)燧原科技的云端AI推理產(chǎn)品在互聯(lián)網(wǎng)、金融、政務(wù)等多家客戶的商業(yè)落地,并獲得認(rèn)可。
之江實(shí)驗(yàn)室發(fā)展合作部副部長吳麗娟表示:“之江實(shí)驗(yàn)室今年3月與燧原科技成立聯(lián)合研究中心,圍繞人工智能應(yīng)用場景,共同開發(fā)具有標(biāo)桿性的技術(shù)解決方案,構(gòu)建開源開放的創(chuàng)新生態(tài)系統(tǒng)。目前,燧原科技的第一代人工智能訓(xùn)練產(chǎn)品‘云燧T11’正在之江實(shí)驗(yàn)室搭建千卡高性能計(jì)算的液冷集群,打造符合國家碳中和政策導(dǎo)向的低碳綠色數(shù)據(jù)中心。未來,我們還會(huì)在智能計(jì)算的更多領(lǐng)域合作研發(fā)。”
上海銀行自貿(mào)區(qū)陳行長表示:“燧原科技的第一代人工智能推理產(chǎn)品云燧i10具有科技獨(dú)創(chuàng)性和技術(shù)領(lǐng)先優(yōu)勢。上海銀行和燧原科技已經(jīng)簽署了深度戰(zhàn)略合作協(xié)議,在智慧金融領(lǐng)域開展了戰(zhàn)略合作,通過場景化、智能化、融合化的創(chuàng)新產(chǎn)品,將金融科技融入銀行服務(wù)的全流程,用便捷流暢的客戶體驗(yàn)、優(yōu)質(zhì)高效的服務(wù)品質(zhì),實(shí)現(xiàn)傳統(tǒng)銀行服務(wù)方式的突破式變革。燧原科技將助力上海銀行向?qū)崿F(xiàn)數(shù)字化、智能化轉(zhuǎn)型邁出堅(jiān)實(shí)的一步?!?/p>
浪潮信息副總裁劉軍表示:“燧原科技是國產(chǎn)人工智能計(jì)算芯片的領(lǐng)軍企業(yè),浪潮信息與燧原科技通過元腦生態(tài)聯(lián)合創(chuàng)新,在AI整機(jī)系統(tǒng)、AI算力優(yōu)化、場景方案落地等多方面深入合作。此次云燧i20的發(fā)布,標(biāo)志著燧原從訓(xùn)練到推理全面進(jìn)入2.0時(shí)代,這也是國產(chǎn)AI算力發(fā)展的里程碑。我們期待和燧原一起緊密合作,共同推進(jìn)中國人工智能產(chǎn)業(yè)的快速發(fā)展?!?/p>