燧原科技發(fā)布首款人工智能推理產(chǎn)品“云燧®i10”。這是一款面向云端數(shù)據(jù)中心的高性能推理卡。云燧i10是單槽位標(biāo)準(zhǔn)卡,支持PCIe 4.0,F(xiàn)P32算力達(dá)到17.6TFLOPS,BF16/FP16算力70.4TFLOPS。同時(shí),燧原科技發(fā)布了推理引擎“鑒算TopsInference”,可以為深度學(xué)習(xí)應(yīng)用提供低延遲、高吞吐率的推理性能,并降低數(shù)據(jù)中心的部署成本。云燧i10將于明年第一季度上市。
“云燧i10”擁有卓越的算力、出色的通用性以及優(yōu)異的價(jià)值特性。
燧原科技同時(shí)推出針對(duì)推理產(chǎn)品的高性能神經(jīng)網(wǎng)絡(luò)模型推理引擎“鑒算TopsInference”,通過計(jì)算圖優(yōu)化、算子融合、模型壓縮、量化等優(yōu)化技術(shù),可以為深度學(xué)習(xí)應(yīng)用提供低延遲、高吞吐率的推理性能。通過TopsInference的推理加速,配合i10 的高算力及虛擬化技術(shù),數(shù)據(jù)中心可以高性價(jià)比地部署計(jì)算密集型深度學(xué)習(xí)工作負(fù)載。此外TopsInference除TensorFlow、PyTorch模型格式外,還支持ONNX通用模型格式,借助燧原GCU-CARA架構(gòu)的可編程性,可以應(yīng)對(duì)未來深度神經(jīng)網(wǎng)絡(luò)日益多樣化、復(fù)雜的增長(zhǎng)趨勢(shì)。
(美通社,2020年12月21日上海)