燧原科技發(fā)布全新一代“邃思”云端AI推理芯片，擁有高吞吐、低延時(shí)等性能（武漢哪里做小程序好）
星 2021-12-07
12月7日消息，今日，燧原科技發(fā)布第二代云端人工智能推理加速卡“云燧i20”。據(jù)悉，這是時(shí)隔僅五個(gè)月，繼今年7月發(fā)布云端人工智能訓(xùn)練加速卡“云燧T20”之后，燧原科技又推出的全新一代針對(duì)云端推理場(chǎng)景的AI加速產(chǎn)品。
（做小程序多少錢 ）
據(jù)介紹，作為全新一代云端AI推理加速產(chǎn)品，云燧i20擁有迄今為止業(yè)內(nèi)最大的AI加速卡存儲(chǔ)帶寬，高達(dá)819 GB/s；同時(shí)全面支持從FP32、TF32、FP16、BF16到INT8的計(jì)算精度。單精度FP32峰值算力達(dá)到32 TFLOPS，單精度張量TF32峰值算力達(dá)到128 TFLOPS，整型INT8峰值算力達(dá)到256 TOPS。對(duì)比第一代推理產(chǎn)品，云燧i20將浮點(diǎn)算力提升到1.8倍，整型算力提升到3.6倍。
升級(jí)后的“馭算TopsRider”軟件棧，在性能、開發(fā)效率和模型覆蓋面上得到大幅提升。通過(guò)引入通用高層圖優(yōu)化和大規(guī)模算子融合技術(shù)，充分釋放了大容量片內(nèi)存儲(chǔ)和高帶寬存儲(chǔ)的利用率，將模型平均性能提升3.5倍，硬件算力利用率平均提升2倍；通過(guò)升級(jí)的編程模型以及算子自動(dòng)分片、自動(dòng)生成技術(shù)，自定義算子開發(fā)效率翻倍，模型遷移成本大大降低；此外，馭算增強(qiáng)了對(duì)動(dòng)態(tài)性的支持，使云燧i20在檢測(cè)、語(yǔ)音識(shí)別、語(yǔ)義理解等場(chǎng)景更具競(jìng)爭(zhēng)力。
在經(jīng)濟(jì)效益和部署靈活性層面，基于虛擬化和多實(shí)例加速技術(shù)，云燧i20能夠?qū)崿F(xiàn)單卡多用戶，同時(shí)支持6個(gè)業(yè)務(wù)互不干擾、安全隔離運(yùn)行。讓更多云端推理應(yīng)用同時(shí)享受專有的算力加速，為客戶業(yè)務(wù)架構(gòu)帶來(lái)輕耦合、靈活可靠的實(shí)現(xiàn)方式，顯著提升資源利用率與投入產(chǎn)出比。
“云燧i20的發(fā)布標(biāo)志著燧原科技在云端AI算力加速領(lǐng)域，從訓(xùn)練到推理的完整產(chǎn)品線已全面迭代到第二代，能夠以更有競(jìng)爭(zhēng)力的產(chǎn)品，為互聯(lián)網(wǎng)、智慧城市、智慧政務(wù)，以及金融、交通、能源等傳統(tǒng)行業(yè)客戶提供更優(yōu)的AI計(jì)算方案。”燧原科技CEO趙立東表示，“當(dāng)前，我國(guó)芯片產(chǎn)業(yè)正處于激烈的成長(zhǎng)與蛻變時(shí)代，燧原科技以‘做大芯片，拼硬科技’為時(shí)代使命，基于原始創(chuàng)新的軟硬件架構(gòu)，正在不斷加速技術(shù)創(chuàng)新與產(chǎn)品迭代。性能趕超業(yè)內(nèi)旗艦GPU的云燧i20正是我們的關(guān)鍵成果之一。”
值得注意的是，云燧i20創(chuàng)新性地采用了高帶寬HBM2E存儲(chǔ)，實(shí)現(xiàn)了高達(dá)819GB/s的超大帶寬，為各類云端推理業(yè)務(wù)提供高吞吐、低延時(shí)的性能，保障其準(zhǔn)確、平穩(wěn)、高效的運(yùn)行。
與此同時(shí)，新一代“邃思”AI推理芯片采用第二代高性能計(jì)算核心和數(shù)據(jù)引擎，由12nm工藝打造，通過(guò)架構(gòu)升級(jí)，大大提高了單位面積的晶體管效率，從而實(shí)現(xiàn)了與目前業(yè)內(nèi)7nm GPU相匹敵的計(jì)算能力。基于12nm成熟工藝帶來(lái)的成本優(yōu)勢(shì)，使得云燧i20在相同性能表現(xiàn)下更具性價(jià)比優(yōu)勢(shì)，并且供應(yīng)鏈體系更加穩(wěn)定成熟。
燧原科技COO張亞林指出：“云燧i20全面提升了算力，在兼顧全精度算力的同時(shí)大幅度提高了整型運(yùn)算，大力加強(qiáng)了模型覆蓋率和泛化支持的能力，在多項(xiàng)基準(zhǔn)測(cè)試中，其模型性能、能效比均處于國(guó)內(nèi)領(lǐng)先水平，可以滿足云端推理業(yè)務(wù)高度多樣化的需求。燧原科技目前已經(jīng)擁有第二代的訓(xùn)練和推理產(chǎn)品，針對(duì)客戶的業(yè)務(wù)場(chǎng)景提供原始創(chuàng)新的、具有高性能及性價(jià)比的‘訓(xùn)練+推理’完整解決方案，并支持國(guó)產(chǎn)服務(wù)器和操作系統(tǒng)，可以幫助客戶進(jìn)行云端系統(tǒng)部署，全面且持續(xù)為客戶創(chuàng)造價(jià)值。”
目前，以國(guó)產(chǎn)AI算力產(chǎn)品為核心，以商業(yè)生態(tài)和科研生態(tài)為支撐，燧原科技的云端AI推理產(chǎn)品在互聯(lián)網(wǎng)、金融、政務(wù)等多家客戶已實(shí)現(xiàn)商業(yè)落地。
