基于Actor模型的眾核數(shù)據(jù)流硬件架構(gòu)探索

摘要： 超大規(guī)模AI模型的分布式訓(xùn)練對(duì)芯片架構(gòu)的通信能力和可擴(kuò)展性提出了挑戰(zhàn)。晶圓級(jí)芯片通過(guò)在同一片晶圓上集成大量的計(jì)算核心和互聯(lián)網(wǎng)絡(luò)，實(shí)現(xiàn)了超高的計(jì)算密度和通信性能，成為了訓(xùn)練超大規(guī)模AI模型的理想選擇。AMCoDA是一種基于Actor模型的眾核數(shù)據(jù)流硬件架構(gòu)，旨在利用Actor并行編程模型的高度并行性、異步消息傳遞和高擴(kuò)展性等特點(diǎn)，在晶圓級(jí)芯片上實(shí)現(xiàn)AI模型的分布式訓(xùn)練。AMCoD... （共9頁(yè)）