一種基于在線蒸餾的輕量化噪聲標(biāo)簽學(xué)習(xí)方法
摘要: 利用含有有損標(biāo)簽的噪聲數(shù)據(jù)來訓(xùn)練深度學(xué)習(xí)模型是機器學(xué)習(xí)中的研究熱點.研究表明深度學(xué)習(xí)模型訓(xùn)練易受噪聲數(shù)據(jù)的影響而產(chǎn)生過擬合現(xiàn)象.最近,一種將元學(xué)習(xí)與標(biāo)簽校正相結(jié)合的方法能夠使模型更好地適應(yīng)噪聲數(shù)據(jù)以減緩過擬合現(xiàn)象,然而這種元標(biāo)簽校正方法依賴于模型的性能,同時輕量化模型在噪聲數(shù)據(jù)下不具備良好的泛化性能.針對這一問題,本文結(jié)合元學(xué)習(xí)提出一種基于在線蒸餾的輕量化噪聲標(biāo)簽學(xué)習(xí)方法 KD... (共13頁)
開通會員,享受整站包年服務(wù)