專注于終端人工智能解決方案的新創(chuàng)公司耐能 (Kneron) 今日參與在上海舉行的 Arm 人工智能開發(fā)者全球峰會(huì)，以“可重構(gòu)算法在AI芯片中的應(yīng)用”為主題發(fā)表演說，會(huì)中同時(shí)發(fā)布 Kneron 新一代終端人工智能處理器系列 NPU IP - KDP Series。Kneron 第二代 NPU IP 包括三大產(chǎn)品，分別為超低功耗版 KDP 320、標(biāo)準(zhǔn)版 KDP 520、以及高效能版 KDP 720。全系列產(chǎn)品的功耗低于0.5瓦(W)，采用新的架構(gòu)設(shè)計(jì)讓運(yùn)算更具彈性，整體效能相較于上一代產(chǎn)品大幅提升達(dá)3倍，運(yùn)算能力 (peak throughput) 最高可達(dá)5.8 TOPS（每秒萬(wàn)億次運(yùn)算）（註一）。

Kneron 創(chuàng)始人兼 CEO 劉峻誠(chéng)表示：“Kneron 推出為終端裝置所設(shè)計(jì)的人工智能處理器 NPU IP 后，其超低功耗的優(yōu)勢(shì)受到市場(chǎng)高度關(guān)注。Kneron 新一代 NPU 產(chǎn)品在諸多方面取得顯著的突破，基于第一代產(chǎn)品的優(yōu)勢(shì)，我們改善數(shù)據(jù)運(yùn)算流程、提升整體運(yùn)算效能與儲(chǔ)存資源使用率，同時(shí)針對(duì)不同的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，讓 NPU 可以更廣泛地應(yīng)用在各種終端裝置，并滿足更復(fù)雜的運(yùn)算需求。”

Kneron NPU IP 可應(yīng)用在智能手機(jī)、智能家居、智能安防、以及各種物聯(lián)網(wǎng)設(shè)備上，讓終端裝置在離線環(huán)境下就能運(yùn)行各種神經(jīng)網(wǎng)絡(luò)。Kneron 第二代 NPU IP 采用新的交錯(cuò)式運(yùn)算架構(gòu) (Interleaving computation architecture) 設(shè)計(jì)，縮短運(yùn)算流程和提升效率。深度壓縮 (Deep compression) 技術(shù)讓壓縮功能從模型層級(jí)深入至數(shù)據(jù)和參數(shù)層級(jí)，使壓縮率再提升。動(dòng)態(tài)儲(chǔ)存資源分配功能提升儲(chǔ)存資源利用率，卻不影響運(yùn)算效能。此外，支持更廣泛的卷積神經(jīng)網(wǎng)絡(luò) (Convolutional Neural Networks, CNN) 模型，并針對(duì)各種 CNN 模型分別進(jìn)行優(yōu)化，在不同神經(jīng)網(wǎng)絡(luò)模型下，可提升約1.5倍至3倍不等的效能。

第二代 NPU IP-KDP Series 重點(diǎn)技術(shù)說明：

交錯(cuò)式運(yùn)算架構(gòu)設(shè)計(jì)：透過交錯(cuò)式架構(gòu)，讓神經(jīng)網(wǎng)絡(luò)架構(gòu)中主要的卷積 (convolution) 與池化 (pooling) 運(yùn)算可平行進(jìn)行，以提升整體運(yùn)算效率。在新的卷積層中，還可同時(shí)支持 8bits 與 16bits 的定點(diǎn)運(yùn)算 (fixed point)，讓運(yùn)算更有彈性。

深度壓縮技術(shù)：不僅能執(zhí)行模型壓縮，還能對(duì)運(yùn)行中的數(shù)據(jù)和參數(shù) (coefficient) 進(jìn)行壓縮，減少內(nèi)存使用。模型大小可壓縮至50分之一以下，準(zhǔn)確度的影響率小于1%。

動(dòng)態(tài)儲(chǔ)存資源分配：讓共享內(nèi)存 (shared memory) 和運(yùn)作內(nèi)存 (operating memory) 之間可以進(jìn)行更有效的資源分配，提升儲(chǔ)存資源利用率的同時(shí)卻不影響運(yùn)算效能。

CNN模型支持優(yōu)化：支持更廣泛的 CNN 模型，包括 Vgg16、Resnet、GoogleNet、YOLO、Tiny YOLO、Lenet、MobileNet、Densenet 等，而且針對(duì)不同 CNN 模型分別進(jìn)行優(yōu)化，在不同神經(jīng)網(wǎng)絡(luò)模型下，相較上一代產(chǎn)品提升約1.5倍至3倍效能。

注一：運(yùn)算效能會(huì)因納米制程不同而異。5.8 TOPS 為 KDP720 在 28 納米制程、600 MHz、8bit fixed points 下的效能表現(xiàn)，預(yù)測(cè)運(yùn)行功耗在 300-500mW（估計(jì)每瓦效能為13.17 TOPS/W） 。