提示學(xué)習(xí)研究綜述

摘要： 經(jīng)過微調(diào)的預(yù)訓(xùn)練語言模型在各領(lǐng)域任務(wù)中均取得了顯著的性能。但是，預(yù)訓(xùn)練和微調(diào)之間在訓(xùn)練數(shù)據(jù)和目標(biāo)函數(shù)方面存在著巨大差距，阻礙了預(yù)訓(xùn)練語言模型對(duì)下游任務(wù)的有效適應(yīng)。提示學(xué)習(xí)的提出縮小了預(yù)訓(xùn)練和微調(diào)之間的差距，并可以很好地應(yīng)用到小樣本甚至零樣本場(chǎng)景中。提示學(xué)習(xí)的核心思想是將提示模板插入到原始輸入中，將下游任務(wù)數(shù)據(jù)轉(zhuǎn)化為自然語言的形式輸入到預(yù)訓(xùn)練模型中，輸出預(yù)測(cè)結(jié)果，然后通過語言表達(dá)... （共27頁）